胡适小时候不信鬼神，但对孔夫子是崇拜的。他母亲殷切地盼望儿子读书成名，因此时常叮嘱他要拜孔夫子。那时他们学堂里挂着孔夫子的画像，每天放学都要对这位圣人行礼拜揖。有一次，胡适到他大姐家，看见外甥章砚香供着一个孔夫子神龛，做得十分精致，两边还贴着对联，写着“德配天地、道冠古今”一类的句子。胡适看了，心里非常羡慕，回到家里，他也自造了一座小神庙。他找来一只匣子，做圣庙大庭；又把匣子中间挖空一方块，用个小匣子糊上去，作为圣庙的内堂，堂上设了祭桌、神位、香炉等物；两边又增设了颜渊、子路等人的神位，各有一方小祭桌。两旁贴有对联，都是用金银锡箔做成的匾对，色彩鲜艳。他母亲见了，十分欢喜，专门给他一张桌子供这神龛，而且还给了一个铜香炉，每逢初一和十五，命胡适焚香跪拜。这座孔夫子的神龛，胡适离家后，他母亲一直保存着，直到他留美回国返家时，仍然完好无缺。

胡适11岁时就能自己看古文了，老师教他看《纲鉴易知录》和《御批通鉴辑览》，前者有句读，他还不感觉吃力，后者没有，这就需要他用红笔来断句了，所以读得慢一些。后来在他二哥的建议下，改点读《资治通鉴》，为了便于记忆，他又动手编了一部《历代帝王年号歌诀》。后来他说这是他“整理国故”的破土工作。由于胡适努力学习，再加上天资聪明，到12岁以后，他的学问差不多赶上老师了。塾师胡观象也感觉到自己没有能力再教他的书了，长此下去，怕贻误学生，于是他决定向胡母提出辞职，请她另请高明。胡母再三央求，结果也未得其首肯，最后只得停学，另想办法。

胡母一个人无处商量，暗自思忖，不让他读，这是违背他父亲的“应该令他读书”的遗命，让他读呢，又没地方可去，真是左右为难。经过一段时间的考虑，最后还是忍着心选择了徽州人的老路，出外当学徒。俗话说：“前世不曾修，出世到徽州，养到12岁，爷娘把外丢。”那时，她的弟弟即胡适的舅父冯诚厚在泾县(离上庄170里)恒升泰药店当管事(经理)，她就决定把儿子送去跟舅舅学生意。在亲人照顾下，胡母也就放心了。不过经过一段实际生活后，胡适对此工作不太感兴趣，他就写信给他在上海的二哥，要求继续读书。

1904年春，他二哥绍之由上海回家，与其母商议，认为胡适聪明伶俐，送去做学徒，实在可惜，况且父有遗命，不可违抗，于是他对胡母说；“婶，我想带臧弟到上海读书，未知你放心吗?”胡母说：“好，哥哥带弟弟外出读书，我哪有不放心的道理呢。”胡适就这样从泾县被招回来，准备行装，跟他二哥到上海去读书了。这是胡适人生道路上的一个关键性的转变。胡适后来念念不忘，说他二哥是恩人之一。

胡适这次出门求学，不知何日得归。他母亲放心不下，所以在他离乡之前，即1904年1月按家乡风俗习惯为他订了一门亲事。对方是旌德县江村人，与他家相距40里，名叫江冬秀，比他大几个月，彼此没有见过面。虽然如此，但后来胡适对此婚约，没有提出异议，遵从母命，终成百年之好。