徽州治下辖有六县，即：歙县、黟县、休宁、祁门、绩溪与婺源。其中，胡适的家乡绩溪在经济上是最落后的。绩溪可能是徽州府治下人口最少的一县，而且，不但村庄数低，而且名族聚居的村庄数仅为歙县或休宁的18.54%。这与绩溪的地理条件的限制是分不开的， 乾隆《绩溪县志》说：“绩邑与歙为接壤，而独受多山之累”，“山压水冲，遍绩有难耕之确土。”绩溪人外出经商也比歙县与休宁为迟。前引的乾隆《绩溪县志·风俗》篇中说：“惟绩鲜挟资之游人。”绩溪人多半在家经商，很少出外闯天下。唯一把绩溪人带出乡里去作买卖的，是茶行的生意。胡适家作的就是茶行的生意。

胡适在〈四十自述〉的增订残稿里说，他出生的绩溪县上庄村叫做上川，“人都叫它做‘上庄’”，在绩溪县城以北五十里。全村都姓胡，“都是我们一族”，属于中国南方所常见的单姓村。根据胡适的说法，在太平天国乱前，上庄男女老小有六千人。种地是他们的本业，出外经商则是他们的副业。上庄人显然很有经商的本领，胡适说，在太平天国乱前的极盛时期，上庄一村在上海有“九鼎十三万”的说法，“就是有九个‘鼎’字的大店，十三个‘万’字的大店。”胡适家的茶行生意，是由他的高祖开始的，到了胡适这一代已经有了一百五十年的历史。他高祖创业的地方在上海附近的川沙镇，这个茶行开业的资本只有一百银元。他们的经营方式，就是每年春天在家乡附近的山区收购茶农的茶叶，然后再运到川沙的茶行去卖。在胡适的祖父及其伯祖的努力经营之下，他们在川沙镇上又开了第二家茶行，目的是在防止别人跟他们竞争。1843年，他们又在上海开了一家支店。胡适的祖父显然很会作生意，除了茶行以外，他还开了一家酒肆，叫做大酺楼，胡适说是“徽州酒馆（通称‘徽馆’）的创始者”。太平天国之乱，上海的支店被毁，川沙本店也受损。根据胡适父亲胡传的估计，在1880年的时候，川沙、上海两家店值三千银元。这就是胡适一家四房、二十几口衣食的来源。因此，胡适先世的背景是在商业方面。他们家第一个在科举功名上下功夫的，是胡适父亲胡传的大伯。只可惜他在科场上并不顺遂，只拿了秀才，是他们家破天荒的第一个秀才，胡传则是第二个。这好像是上庄的宿命，胡适说：“科举一途好像瞧不起我们的村子，开族以来，村子里只不过□个举人。”胡适写这篇改订稿的时候想不出上庄出过几个举人，只好留白了。

在汽车运输、高速公路发达的今天，我们很难想象从前徽州人出外经商是徒步的。就以跟胡适的故乡上庄村接壤的宅坦村为例。宅坦村，古名龙井，自古以来村民外出都要靠步行，翻过崇山峻岭才能抵达歙县和旌德的水码头。然后至新安江去杭州，再转水路至金华、衢州及江西的玉山、铅山，或是沿徽水（青弋江主要支流）北溯至芜湖，再经由长江去南京、苏州、上海和武汉等地。这也是宅坦的徽商外出经商的主要路线。一直要到1933年芜屯公路通车，宅坦人外出方可免去艰难的跋山涉水，不过从村落到绩溪县城还得靠步行。 宅坦村如此，上庄当亦如是。胡适1904年到上海去念书的时候，就用了七天的时间，多半是走路的。1928年，他接受苏雪林的一篇访问里，就有一段很生动的描述。当时胡适住在上海英租界的极司非而路(今万航渡路)49A号。胡适在这篇访问里，是从请苏雪林吃的徽州面饼谈起的：

仆人送上一杯咖啡调的牛乳和一盘切开的烤面饼，先生说我今天起身迟了，所以到此刻才用早点。我是徽州人，用的也是徽州点心，请你们不要见笑，我还愿意将这东西介绍给你们呢；这烤面饼是面做的，馅子是香桩、萝卜干，不易霉坏的材料，这是我们徽州人的“国宝”。我们徽州人在商业上的成功，都要归功于这“国宝”。

……

先生拈起一片面饼对我们说道：我们徽州是多山的地方，大凡山国的出产都是微薄的，不足供居民生活的需要，于是居民不得不冒险到外边求谋生之道了。我们徽州人的习惯，一家若有两个或三个以上的男孩，把一个留在家里耕种田地。其余的孩子，到了十三岁，便打发出门学生意。出门时不要带多少川资，只用几尺蓝老布做成一个袋，两端缝合，中间开一个口，每袋一端，装进五个这样的“国宝”，就算是孩子长途的粮食了。［这个蓝布做的褡裢，胡适在那篇〈四十自述〉的残稿里说叫做“信马”，显然是徽州话 。］好在这“国宝”的馅子都是干材料，过上十天八天也是不要紧的。到了宿店的时候，一点火，袋里掏出一个“国宝”，在火上烘烤一会，吃下去就算一顿饭。至于宿费，每夜只需大钱二十一文，由徽州走到杭州，二百文川资，绰有余裕。徽州人穷得不能聊生的时候，有句安慰自己的口号，说是“不要慌，十天到余杭”！

胡适认为徽州人因为耕地少养不活人口，而必须冒险出外经商的传统，对徽州人在思想上产生了正面的影响。由于在城镇经商，他们就有机会接触到最新的思想和教育上的潮流。他们又常把孩子带到城镇里去受教育。因此，徽州人的思想视野一般说来是比较宽广的。他接着推论说，这也是为什么中国思想界里的几个重要人物都是徽州人。例如：十二世纪的朱熹、十八世纪的江永和戴震以及十九世纪的凌廷堪和俞正燮。