到1922年，胡祖仪的新式学堂的创议获得通过，名为兴文小学的胡氏族学就此开办起来。这个学校不仅在科目设置和教学方法上不同于私塾，而且还招收女童入学，这在当地是破天荒的。胡祖仪担任了校负责人兼教师，胡耀清和胡耀邦也转回到这个学校来，胡耀清还当上了班长。

胡祖仪很器重胡耀邦，在学业上和品德上都严格要求，常常用高年级的作业让他试做，给他辅导，课余则常常给他讲些杨家将、岳飞、戚继光、谭嗣同等爱国英雄的故事。这使得童年时代的胡耀邦就受到勤奋好学等良好习惯的培养和精忠报国精神的熏陶。

1926年，十一岁的胡耀邦在兴文小学读完初小，到文家市里仁学堂读高小。

文家市在浏阳县东乡，罗霄山脉西麓，紧邻江西，是一个很著名的集镇。里仁学堂就在文家市街上的文庙里。这座文庙兴建于清嘉庆十九年（1814年），后来在这里创办了文华书院，辛亥革命后改为立人（里仁）学校。学校按新式教育的要求，开设了国文、算术、历史、地理、体育、音乐等课程，在国民革命高潮兴起之后，又增设了“三民主义”。校长陈世乔是既有丰富学识、又有革命思想的青年，此时已加入了中国共产党。教师里面的甘思藻、吴千晋、尤清风等也都是共产党员。这是一所充盈着进步色彩的学校。

胡耀邦去镇上读书，这在家里也算一件大事。虽然学费仍由泮宫乐育会供给，但报名费一块银元还要自己交，东借西借总算借到了。母亲也比以前更辛苦了。每天早晨天不亮，她就得给胡耀邦准备红薯丝饭，一半作早餐，一半带去上学。父亲一早就要到文家市去挑煤，胡耀邦就随他一起上路。这一段路坡岗起伏，来回四十里。少年胡耀邦就是这样，日复一日，往返于这崎岖的路上。这一时期的天天长途步行，确实锻炼了他的脚力，使他一直到晚年还保持健步疾走的习惯。放学时碰上坏天气回不了家，有时他就到离文家市较近的外祖父家或姨母家住一宿。

里仁学堂的诸多课程，为胡耀邦打开了新的天地。他觉得这里的一切都是那么新鲜诱人，强烈的求知欲望使他将各个科目都学得很认真。他勤奋、专心、肯思考，入学不久，在班级里就赢得了好学生的名声，也很快就引起了教师们的注意。此时比他大两岁的表兄杨世俊（后来改名杨勇）也在里仁学堂读书。杨世俊的母亲刘世珍同胡耀邦的母亲刘明伦是堂姊妹，是他的姨母。杨世俊性格外向，骁勇好动，一身虎气，而胡耀邦则显得有些斯文。表兄弟两人虽然性格不同，但很合得来。几十年后，已身为中国人民解放军上将的杨勇回忆这段学校生活时说：耀邦是好学生，我是淘气包儿，念书他帮我的忙，打架我帮他的忙。当时正是国共合作时期，共产党员陈世乔、甘思藻等经常给学生宣讲打倒列强、争取国家独立，农民要组织起来闹翻身，要进行国民运动等等道理。杨世俊对这些道理总是接受得很快，而且能够发挥，所以甘思藻秘密发展杨世俊加入了共产主义青年团，后来又成立了共青团支部。甘思藻对年纪尚小的胡耀邦也着意培养，介绍他读《中国青年》上的一些文章，对他讲什么是帝国主义、封建主义，农民如何受剥削等等。这些，在少年胡耀邦的心灵里，播撒了阶级意识的种子，唤醒了他对革命的朦胧追求。不久，他担任了里仁学堂的少年先锋队队长兼宣传组组长。他既热情又主动地参加教唱革命歌曲、宣传破除迷信等等工作，有时也走到校外，在墙上涂写大字标语：“打倒军阀”“打倒列强”……