刘邦和众多兄弟的藏身之所吕雉是不方便久留的，她只在这里留宿了一晚，便匆匆告辞离开了。时隔没几日，吕雉又回到芒砀山，为刘邦送来一些御寒的衣物，还为大家带来了一些食物。就这样，吕雉经常来到芒砀山探望丈夫，刘邦等人则匿身于芒砀山的群山之间，为安全起见，他们还要经常变换栖身的地方，行踪漂泊不定。然而，聪明的吕雉每次前往，总是能顺利地找到刘邦等人的藏身之处。

吕雉经常往来于沛县与芒砀山之间，这种事自然瞒不住家乡的人。时间一久，家乡的人便知道了刘邦没有远走，而是带领跟随他的兄弟躲藏在西面的芒砀山。

吕雉对来到家中询问刘邦下落的萧何、曹参说了实话。于是，刘邦的这两个兄弟就请吕雉向刘邦捎话，让他多加保重自己。

刘邦匿身于芒砀山后没多久，秦始皇便病死于沙丘。继位的秦二世胡亥更是变本加厉、倒行逆施，使得本已怨声载道的秦朝更加民不聊生。当陈胜、吴广在大泽乡首举反抗暴秦的义旗之时，刘邦在芒砀山间所聚集的弟兄们也早已经不是当初的几十个人了。一支当初四处流亡的逃劳役的队伍，就这样也成了几十只反抗暴秦的队伍中的一支。

百姓日子愈加艰难，到处都是流亡难民。源于刘邦的仗义，渐渐地，这支原本名不见经传的队伍开始在沛县以及芒砀山周边一点点地打出了名气。随着秦二世的胡作非为，老百姓的日子越来越过不下去，一些不堪压迫、揭竿而起的百姓就跑到芒砀山这里投奔刘邦。