汉十一年(前196年)，黥布发动变乱，但恰逢高帝卧病在床，便想把平叛的任务交给太子。这四位老人聚在一起商议道：“我们到京师来的目的就是为了保全太子，现在让太子带军前去平叛，事情就危险了。”于是他们劝说吕泽：“让太子领军出征，即使立了功劳对他的名位也没有什么益处，但假如没有立功就可能因此而遭致祸端。我们时常听别人讲：‘如果母亲得到了宠爱，作为儿子的就会被别人看重，会常被别人抱。’现在戚夫人每时每刻都与皇上呆在一起，体贴入微地伺候皇上，眼前又经常出现赵王的身影，皇上也曾经说过‘最终会让爱子的地位超过那个不肖子’，显而易见，皇上是想让赵王取代太子。为什么您不抓紧时间请吕皇后寻找机会向皇上哭诉，就说黥布是一员猛将，天下人都知晓其用兵如神，现在各位将领都曾是跟随陛下南征北战的故旧和地位相等的人，如果他们被太子统领着出征，肯定不会尽心效力，并且如果让黥布知道了，他的气焰一定会更加嚣张。即使皇上龙体欠安，但还可以勉强坐上辎车，各位将领由皇上亲自统领着，个个都会奋勇无比，争先恐后去立功。虽然这样会使皇上受苦，但仍需要勉强承受，也算为妻子儿女着想。”吕泽听后不敢停息，连夜去见吕后。吕后寻找到合适的机会，把那四个人授意的话向高帝哭诉了一遍。高帝回答道：“这件事我曾经考虑过，本来这个孩子就不是太争气，恐怕难以胜任，还是我亲自出马吧。”于是高帝就统领大军浩浩荡荡向东出征，留守的许多大臣一直送行到霸上。张良虽然疾病缠身，但也勉强支撑，一直送行到曲邮。他拜见高帝时说：“楚人勇猛强悍，请皇上不要与他们斗勇，要智取。”

汉十二年(前195年)，高帝平定了黥布叛乱，归来后身体却每况愈下，病情更加严重，另立太子的想法也就更加强烈。张良据理力谏，但也无济于事，便推托自己有病不再理事了。太傅叔孙通引经据典，把历代废太子的弊端陈述了一遍，最后以死相挟，以维护太子的地位。虽然高帝表面上答应不再另立太子，但内心的想法却依然没有改变。在一次宴席上，高帝看到太子身后跟随着四位老人，他们须眉皓白，衣冠博带，年龄都已八十有余。高帝感到不可理解，问道：“他们是干什么的？”这四位老人走上前去，一一道出自己的姓名。这时高帝才惊讶地说道：“你们以前避我不见，隐居起来，无视我的征召，但现在各位为什么又与我儿子在一起呢？”四位老人答道：“陛下对士人常怠慢侮辱，我们不愿受辱，所以采取逃避的办法，但现在听说太子宽厚仁义，孝顺而有礼，并且敬重士人，天下士人都感恩戴德，心甘情愿为太子效劳，死不足惜，因此我们就出来追随太子。”高帝说：“既然各位受太子感召而出山，这是个好兆头，请你们始终辅佐太子吧！”