几个月后，樊夫人到了临盆的日子，可是过去了很长时间，都没有将孩子生下来，刘钦急得团团转。稳婆说接生的房屋阴冷潮湿，不利于顺产。刘钦担心母子的安危，赶忙想着哪有合适的地方能让夫人顺利将孩子生下来。忽然，他想到县丞提过济阳城外有座行宫，是汉武帝出巡时下榻的地方，那里地方大，通风，温暖，利于顺产。这座行宫一百多年没人住过了，今天且斗胆用它一用，但千万不能让别人知道，私用皇帝行宫可是掉脑袋的大罪。众人趁着夜色，将樊娴都偷偷拉到了行宫。樊娴都在刘氏先祖的行宫里终于顺利地生下了孩子—一个健壮可爱的男孩。大家都松了口气。

看着眉目俊朗的小家伙，刘钦欣喜异常，该给儿子取个什么样的名字呢？刘钦眼前忽然浮现出几个月前的祥瑞嘉禾，为人父谁不希望自己的儿子有一番作为？于是，幼子的名字就被取为刘秀，正是应那嘉禾之兆。

几年后，刘钦调任为汝南郡南顿县（今河南沈丘西）县令，也只是平级调动。在南顿，樊娴都又给刘钦生了个女儿刘伯姬。刘秀就在南顿和小妹妹伯姬度过了一段难忘的童年时光。

哀帝禀政六年，年仅二十六岁便撒手西去。九岁的平帝即位，不能掌权，安汉公王莽又被请回来执掌朝政。天时不济，青州闹蝗虫，灾及汝南郡，灾民流离失所。刘钦思虑国事家事，身心交瘁，一病不起。汉平帝元始三年（公元3年），刘秀九岁的时候，刘钦因积劳成疾，在南顿县令的任上去世了。

刘钦的死对家庭的打击是非常沉重的。从此失去生活来源的母子没有办法在南顿待下去了，樊娴都便在小叔子萧县令刘良的护送之下，带着刘秀和刘伯姬回到了家乡——舂陵。在舂陵的樊娴都根本无力抚养六个子女，最后还是刘良决定，他带着刘縯、刘仲、刘秀三兄弟去萧县，让他们在当地读书，樊娴都领着三个女儿在舂陵勉强度日。

刘秀和哥哥们跟着叔父在萧县生活了好几年，随着他们年龄的增长，刘良的生活愈加困难，弟兄们不忍心再拖累叔父，就回到了舂陵老家务农。

刘秀性情温和，喜欢在田野间嬉戏，时间长了，渐渐对农桑稼穑产生了浓厚的兴趣。哥哥刘縯的性格与刘秀恰恰相反，对田园生活毫无兴趣，只喜欢交朋结友、弄侠使气，养着不少乡间豪悍的少年做宾客。他对弟弟与世无争的生活态度很看不惯，常常笑话他没有出息，天生是个做农夫的材料，与刘邦的兄长刘仲颇为相似。

在刘家兄弟过着田园牧歌式的生活的同时，汉王朝却早已岌岌可危，朝政长期把持在外戚王氏手中。王莽则是此时王氏家族的代表，他是汉元帝的皇后王政君的侄子，公元前1年，王莽做到了大司马录尚书事，登上了一人之下万人之上的位置。他先后通过大封官爵、扩太学、改革赈灾等措施取得了地主豪强、文人以及百姓的支持。这时皇帝的名号虽然还在刘氏的头上，但是实际上已经成了王莽的傀儡。刘氏一族自然不愿意失去刘家的天下，公元6年，安众侯刘崇起兵反对王莽，公元7年，身居东郡的刘信也起兵反莽，但他们先后被王莽镇压了。

公元8年，王莽废掉了汉皇帝，宣布由自己即天子位，国号为新，以王氏皇朝取代了刘氏皇朝。开始王莽还拉拢善待刘氏，但到了新始建国二年（公元10年），篡夺汉政的王莽，唯恐刘姓余波再起，干脆收回汉诸侯王玺绶。刘姓诸侯王32人、列侯181人同日遭贬，废为庶人。王莽废汉，刘氏的皇族身份没有了。刘良的特权地位不复存在，只有回老家和刘秀兄弟务农。从此，他们开始过起了老百姓的生活，亲身体验农民的困苦和艰辛。