结束了官宦生涯的刘良，回到舂陵务农。虽然按当时的制度，刘钦和刘良都有资格享受朝廷的退休津贴，无奈级别太低，朝廷发的那几两碎银根本不够一大家人操持吃喝的。就算刘良不说，刘家三兄弟心里也是明白的，叔父对他们已经够照顾的了，总不能靠叔父一辈子。

父亲不在了，作为长子的刘縯理应挑起生活的重担，但刘縯生来有着远大的志向，他对于农活没有半点兴趣，最大的爱好是结交天下豪杰，喜欢畅谈天下大事，不屑于料理家中的田地。家中所有的农活便只能由二弟刘仲和三弟刘秀来承担。刘秀知道大哥的性格，他了解大哥的远大志向，只好和二哥一起，默默地挑起生活的重担，供着大哥在外面风光。刘仲是个老实巴交的人，只会埋头种田，其他的一概不管。

而刘秀从小就对农活用心，很会照顾、打理田地，他家的田即使在大旱的年景也能有个好收成。刘秀虽然不像大哥每天只想着大事，他却也不是真的只懂种田。他有非常好的生意头脑，每次打完粮后，留下家里吃的，就赶着牛拉着粮食到周边市镇贩卖。在当时的年景下，粮食十分金贵。本来时局动荡粮食比较紧缺，加上刘秀为人忠厚和善，做买卖诚实守信、价格公道，所以刘家的粮食销路非常好。很快，刘秀就为家里攒下了一笔很丰厚的积蓄。刘家也慢慢从父亲刘钦逝世的阴影中走了出来。刘秀不仅会做买卖，更重要的是他非常会做人，平时乐于助人，乡里乡亲的谁家有困难，都会尽力帮忙，从不说二话。刘秀“品行纯美，有君子之风”，在当地赢得了非常好的口碑，乡亲们一提刘家老三，个个都是赞不绝口。

那位“性刚毅，慷慨有大节”的大哥刘縯，却从不管家计问题，只知道用仅有的一点家当去招待各路豪杰，即使家里早就入不敷出，他也从不顾及。因为刘縯的志向非常宏大，他从心里瞧不起做农活的营生，要知道他们可是汉高祖刘邦的后人，天潢贵胄，应该出将入相、钟鼎玉食，如今落到这个下场，心里怎么能平衡？刘縯每天都在幻想，有朝一日，他率领各路江湖豪杰，冲进长安城，灭掉该死的王莽，重建大汉天下，也不枉费自己身上流淌着的皇族血脉。

刘縯整日呼朋唤友，而结交总是需要花钱的。刘縯不事生产还常常大手大脚地花钱，这样一来，只好找两个弟弟要钱花。刘仲和刘秀对大哥非常尊敬，只要大哥开口，从来不拒绝。刘縯平白花着弟弟们辛苦挣来的钱，却半点也不心疼。不仅如此，他还非常瞧不起这两个“胸无大志”的弟弟，经常数落弟弟，有次刘縯就当着很多人的面挖苦刘秀：“我这小弟刘秀一直喜欢耕种,这样也不错，还能养家糊口，比起高祖的兄长刘仲也相差不多了。”面对这个近乎无赖的大哥，刘秀从来都是尊敬的，无论他说什么，刘秀只是笑笑。

刘秀胸无大志么？当然不是，只是他心机比较深，不轻易让人知道他在想什么。刘秀也是汉家子孙，眼瞅着王莽倒行逆施，朝野上下一片乌烟瘴气，百姓受苦受难，他何尝不想恢复大汉天下，让刘氏继续站在历史的顶端。只是刘秀看问题的角度和刘縯不一样，他现在关心的是如何让一家人吃上饱饭，如果都像大哥这样整日不事生产，只是广纳宾客，自己家恐怕早就贫困不堪，母亲、姐姐和妹妹恐怕都被饿死了。

虽然刘秀看起来整日侍弄庄稼，胸无大志的样子，其实他的心中并不平静，他何尝不想做一番事业？他在操持农业、贩卖粮食的同时，一直都留意着当地的吏治、政策等等，甚至也刻意去结交一些有势力的人，比如坐镇南阳的大司马府纳言、五威将军严尤等人。刘縯想的，刘秀也想过，但现在还不是时候，他们手上无一兵一卒，拿什么去反抗王莽？现在还需要积累，于是刘秀作出了一个决定，到京城长安去求学。此时的官宦子弟不少都是走的这条路线，学习经学，进入太学，学满后便有机会从政了，这是一条很好的做官途径。毕竟刘秀不想永远做一个农夫、粮食贩子，他也同样有着刘氏皇族的骄傲。