所以来，是为了要保全太子，太子如若率兵平叛，事情就危险了。”于是劝告建成侯说：“太子率兵出战，如立了功，那么权位也不会高过太子；如无功而返，那么从这以后就是遭受祸患了。再说跟太子一起出征的各位将领，都是曾经同皇上平定天下的猛将，如今让太子统率这些人，这和让羊指挥狼有什么两样，他们决不肯为太子卖力，太子不能建功是必定的了。我们听说‘爱其母必抱其子’，现在戚夫人日夜侍奉皇上，赵王如意常被抱在皇上面前，皇上说‘终归不能让不成器的儿子居于我的爱子之上’，显然，赵王如意取代太子的宝位是必定的了。您何不赶紧请吕后打机会向皇上哭诉：‘黥布是天下的猛将，很会用兵，现今的各位将领都是陛下过去的同辈，您却让太子统率这些人，这和让羊指挥狼没有两样，没有人肯为太子效力，而且如让黥布听说这个情况，就会大张旗鼓地向西进犯。皇上虽然患病，还可以勉强地乘坐辎车，躺着统辖军队，众将不敢不尽力。皇上虽然受些辛苦，为了妻儿还是要自己奋发图强一下。’”于是吕泽立即在当夜晋见吕后，吕后找机会向皇上哭诉，说了四个人授意的那番话。皇上说：“我就想到这小子本来不能派遣他，老子自己去吧。”于是皇上亲自带兵东征，群臣留守，都送到灞上。留侯患病，自己勉强支撑起来，送到曲邮，谒见皇上说：“我本应跟从前往，但病势沉重。楚国人马迅猛敏捷，希望皇上不要跟楚国人斗个高低。”留侯又趁机规劝皇上说：“让太子做将军，监守关中的军队吧。”皇上说：“子房虽然患病，也要勉强在卧床养病时辅佐太子。”这时叔孙通做太傅，留侯任少傅之职。
汉十二年（前195），皇上随着击败黥布的军队回来，病势更加沉重，愈想更换太子。留侯劝谏，皇上不听，留侯就托病不再理事。叔孙太傅引证古今事例进行劝说，死命争保太子。皇上假装答应了他，但还是想更换太子。等到安闲的时候，设置酒席，太子在旁侍侯。那四人跟着太子，他们的年龄都已八十多岁，须眉洁白，衣冠非常壮美奇特。皇上感到奇怪，问道：“他们是干什么的？”四个人向前对答，各自说出姓名，叫东园公、角里先生、绮里季、夏黄公。皇上于是大惊说：“我访求各位好几年了，各位都逃避着我，现在你们为何自愿跟随我儿交游呢？”四人都说：“陛下轻慢士人，喜欢骂人，我们讲求义理，不愿受辱，所以惶恐地逃躲。我们私下闻知太子为人仁义孝顺，谦恭有礼，喜爱士人，天下人没有谁不伸长脖子想为太子拼死效力的。因此我们就来了。”皇上说：“烦劳诸位始终如一地好好调理
