从历史上的移民状况来考察，西岭胡氏应当算是客家人。顾名思义，所谓“客家”，即非本地土著。公元四世纪初叶，强大的北方少数民族频繁袭击西晋王朝，中原众多汉人特别是士大夫为躲避战乱，举族南迁，来到江南，其后唐末及南宋末年战乱之际，又有大批汉人渡江南下。他们往往成群结队，宗族乡党相随而行，颠沛流离，寻求条件稍好的地方，安顿下来，“客而家焉”，因此被称为“客家”。这样的“客家”人，以落脚于江淮、闽粤者为多。想当年，胡家也许是落脚于淮海、苏湖，以后辗转流徙，到胡允铭这一代又从江西来到西岭的。客家人由于艰辛备尝，有共同遭遇，身居异乡，需要互相扶助，所以他们崇尚团结，勤劳俭朴，有开创局面的奋斗精神，并且十分注重族人的文化教育。这些品格逐渐形成客家人的特征，世代相传。

胡耀邦的曾祖父胡名钟（约1840—1885），字秀卿，号毓源。胡氏族谱中说他“幼勤诵读，通经史，弱冠早已知名”，是个乡间知识分子。村人津津乐道的是，他在住所附近建了一个私塾，名“种桃书屋”，寓有培植桃李的意思，请族中有文化的人来教授本族及乡民子弟。他的儿子胡成瀚（1858—1896），字海文，号彰五，即胡耀邦祖父。据族谱记载，胡成瀚也是博通经史，崇尚圣道，能写古文，是族中有识之士。他一生倡导兴学济贫、修桥补路，在村中很有声誉，乡里间发生纠纷，常常请他来公断。只可惜此时家道中落，他尽力务农以维持生计，而不能专心于笔墨了。他三十八岁那年，续弦的妻子因病去世，他忧伤过度，不久也撒手人寰，身后撇下了两子一女。其中之一就是胡耀邦的父亲胡祖伦。

胡祖伦（1882—1954）父母俱丧那年只有十四岁，妹妹才十二岁，弟弟祖怀八岁。族人帮助料理了丧事，然后由叔父胡成槛收养了胡祖伦，妹妹和弟弟由伯父胡成杓抚养。

叔父让胡祖伦继续在学馆读书，同时也干一些田里的农活。虽然有叔父的照拂，胡祖伦却总是摆脱不了作为孤儿的苦寂，加上胡成槛也希望他能早日自立，因此胡祖伦刚到十八岁，就张罗为他完婚了。

娶进来的是文家市镇五神岭黄花冲村的农家女儿，名叫刘明伦（1882—1967）。父亲刘大晋，以务农为主，兼做花炮。刘明伦也像那个时代的女性一样，自幼就缠了小脚。她纯朴厚道，吃苦耐劳。结婚以后，夫妻两人就回到西岭祖居安家，过着清贫的生活。

在随后的岁月里，他们总共生育了十二个孩子，六男六女，但七个都是夭亡，只有三子耀福、四子耀邦和长女石英、三女菊华、五女建中得以成长。胡耀邦在十二个子女中排行第九，父母叫他“九伢子”。

胡祖伦失怙之后，归属他名下只有几亩田土，原本就不宽裕，孩子却又一个一个降生，负担越来越重。而且时处清末民初，社会动荡，苛捐杂税名目繁多，加上灾害频仍，单靠作田已难以养家糊口了，胡祖伦不得不干起了挑脚的生计。每天一大早，他挑上箩筐快步赶到二十里外的文家市去，担起上百斤的煤，翻过几十里山冈，到东乡的鸡婆尖、高坪、石湾一带，挣几个血汗钱。直到胡耀邦十五岁离家参加革命时，四十八岁的胡祖伦仍以挑脚为生。胡耀邦晚年回忆父亲时，曾唏嘘地说：“我老爸有一根这么长的旱烟枪，他抽烟可厉害呢，他有时穷得桐子叶当旱烟抽。”“他老人家因长期挑脚，两只肩膀肿起两个好大的茧包哟！”