杜家街是北碚通往川北的必经之地。崇祯年间，相邻的庙嘴又建起了香火旺盛的文昌宫，于是在马鞍溪上修起了一座单孔石拱桥，桥名“驷马桥”，有君子一言，驷马难追之意。
　　1930年，中国西部科学院农林所在杜家街沙土上种植广西沙田柚、西藏的无核葡萄、越南的米香蕉、法国的葡萄等，共75种3500多株，取名“北碚果园”。春来桃红李白、花香田野，秋至橘红油黄、硕果压枝，加之这里离城区近，于是成了北碚市民假日休闲的好去处。
　　公元1939年5月，时任国民政府教育部次长的顾毓琇住在长江边上通远门的寓所，惨遭日军飞机炸毁，不得已，顾先生便带领全家老小乘坐民生公司客轮来到北碚，在嘉陵江边租用“峡居”暂时安顿下来。这期间，由顾先生担任所长的清华大学无线电研究所，从武汉迁来北碚杜家街，而经济部中央工业研究所（以下简称中工所）也由南京迁于此。无巧不成书，顾先生竟然与在中工所工作的三弟顾毓瑔和四弟顾毓珍不期而遇。
　　顾氏兄弟均为留美博士，在各自领域都属杰出人物。三弟顾毓瑔是美国康奈尔大学机械工程师，34岁时担任中央工业实验所所长。四弟顾毓珍是美国麻省工学院化学工程博士，后任中工所总工程师。兄弟之中要数顾毓琇最为出色，他是麻省工学院科学博士、宾法尼亚大学法学博士，浙江大学、清华大学、上海交通大学、西南联合大学教授以及麻省工学院终身教授，先后担任清华大学工学院院长、中央大学校长、国立音乐学院院长。他学识渊博，多才多艺，在物理学、哲学、文学、数学等领域都有卓越贡献，他的科学论文“顾氏变数”获国际电学“兰姆”金奖。他创作了8000多首诗词歌曲荣获世界“桂冠诗人”，他把德国诗人席勒的《欢乐颂》、贝多芬的《第九交响乐》译成中文，传到中国。他创立了国家交响乐团，亲任团长，创办音乐学院，亲任院长，又创办上海戏剧学院。他是著名的科学家、教育家、工程学家、数学家、戏剧家、音乐家、佛学家、作家、诗人，实属旷世奇才。
　　顾氏三兄弟在北碚会师后，决心在大后方打一场抗日持久战。他们决定在杜家街建造一个院落作为安身立命之所，在杜家街山坡上，因地制宜，就地取材、就地施工，以木为柱，以竹为梁，以草为顶，建成三座茅庐，围上一道竹篱笆，栽上了野菊花。三兄弟就住在一个院落了，兄弟三人戮力同心为中国的抗战事业贡献智慧和力量。顾毓琇请监察院长、大书法家于右任先生题写了一块匾额——“三顾茅庐”，从此以后，顾家兄弟三“顾”茅庐的故事传为美谈。