1915年11月20日，刚刚秋收完毕的胡祖伦家，又添了一个“九伢子”。

孩子诞生后第三天，按照作“三朝”的古老习俗，胡家请族人和邻里吃饭。孩子的堂房三伯父胡祖仪也来了，他是乡里出名的饱学之士，又是私塾先生，颇有声望。胡祖伦请胡祖仪给孩子起个名字。胡氏一代代族人的取名，从先祖建十公起，便按宗法传统，制定了字辈谱，即：云谦甫育，元奇志中；名成祖耀，德厚家行；千年远绍，万代恒昌。胡祖伦下一代是“耀”字辈，所以先头几个男孩的名字都带“耀”字。胡祖仪按照这个规矩，并且寄意这孩子必有大出息，于是引用了《诗经大雅文王》篇：“周虽旧邦，其命维新。……仪刑文王，万邦作孚”和《易经》里的话：“观国之光，利用宾于王”，给这初生的孩子取名耀邦，字国光。

在这个贫困而多子女的家庭，小耀邦幼时的发育不算好。他的个头长得很慢；到了一般孩子都会说话的年龄，他却吐字困难，有些结巴。但他非常聪明，性格活泼。稍稍长大之后，他就常常随父亲和哥哥到山坡拾柴，或者到田里拔草。到收谷收薯时节，他更是奋力又背又扛，仿佛要跟大人比赛。他不贪玩，爱干活，伶俐懂事，所以深受喜爱。

胡氏人家虽然世代以农耕为业，但重文尚教以求知书识礼是他们的家风。胡氏宗族早就设有公益性质的祀田，由族长管理，收入大部分用于本族儿童的教育，成立了泮宫乐育会专司此事。胡耀邦的曾祖父胡名钟所倡立的“种桃书屋”，就由祀田支持，凡是胡氏子弟都可以免费进这个私塾性的学馆接受启蒙教育。1867年（清同治六年），种桃书屋的房舍被一场山洪冲毁，学馆就暂设在胡氏宗祠，仍然是由祀田的专款开支先生的“束脩”和学童的学费。

1920年，胡耀邦年满五岁，胡祖伦送他进种桃书屋“开蒙”。

胡耀邦很有灵气，模仿力强。入学之前，哥哥胡耀福放学回来，背诵课文，他听过几遍，就能跟着背起来。哥哥练习写字，他也拿根树枝蹲在地上照着写。现在入学了，他更是兴高采烈。他家离胡氏宗祠大约一里来地，他每天早早就来到学馆，抹桌扫地，然后就摊开书本温习，静静地等着上课。他学习很认真，专心致志，虽然有点口吃，但朗读起课文来却朗朗上口，简单的对子也作得快捷工整。他入学后第一次考试就考了个第一名，使他的老师、堂伯胡祖仪满心欢喜，也顿时使同学们对他另眼相看。

胡祖仪思想开朗，热心公益，注重文教，而又勇于吸纳新思潮。五四运动之后，他认为不能再用“四书”“五经”等陈旧学说教育族中子弟，于是积极创议开办新式学堂。在族中慎重商讨这个创议各个细节过程中，“种桃书屋”即将结束，新的学堂还没办起来，胡祖仪让儿子胡耀清带着六岁的胡耀邦到长寿村的琢玉私塾去暂读，那里的功课讲得扎实。长寿村距离苍坊村十多里路，好在有长他好几岁的堂兄照顾，胡耀邦的父母倒也放心。琢玉私塾的课程里有唐宋诗词，这又大大打开了胡耀邦的眼界，他对那些优美的、几近神奇的句子产生了浓厚兴趣。凭着他过人的记忆力，没有多久，就可以背诵许多了。