不是因为不够宠爱戚夫人，刘邦想废掉太子刘盈，改立戚夫人的儿子赵王刘如意。大臣中有很多人进谏劝阻，都没能改变刘邦的决心。皇后吕雉很恐惧，不知道该怎么办。有人对吕雉说：“留侯张良善谋略，皇上对他也很信任。”吕雉于是派建成侯吕泽去胁迫张良，说：“你一直是皇上的谋臣，如今皇上想改立太子，你怎么能高枕无忧呢?”张良说：“当初皇上多次陷于危险的困境之中，我是侥幸被采用了计策。如今，天下安定了，皇上因为自身偏爱而想改立太子，这是骨肉至亲之间的事，即使我们一百个人劝说，也是没用的。”吕泽强迫张良，说：“为我谋个计策吧。”张良说：“这件事难以用口舌去争。但皇上有过不能招致的人，这样的人天下有四个。这四个人都已经年老了，都认为皇上傲慢轻侮，所以逃进山里隐藏起来，坚守道义，不肯做汉朝的臣民。但是，皇上很敬重这四个人。如果你真能不吝惜金玉财帛，让太子写信，言辞谦恭，备好座车，进而派能言善辩之士前去恳请，这四个人应该会来的。他们来了以后，你们要把他们奉若上宾，让他们时常跟随太子上朝，让皇上看到他们。皇上看到后，一定会感到惊诧而询问他们。问清楚后，皇上就知道这四个人是贤者。这对太子将是一大帮助。”于是，吕雉让吕泽派人带着太子的亲笔信，用谦恭的言辞和丰厚的礼物，去迎请那四个人。
四个人来到长安后，客居在吕泽的家里。汉十一年，英布发动叛乱，刘邦患病，想让太子率领军队前去讨伐叛军。这四个人互相商议，说：“我们来京师的目的是为了保全太子。如果太子率军前去平叛，那么事情就危险了。”于是，他们劝说吕泽：“太子率军打仗，即使有功劳，其地位也不会超出太子;万一无功而还，那么从此就将遭受灾祸了。况且，和太子一起出征的各位将领，都是曾经跟皇上一起平定天下的猛将，派太子率领他们，这跟让羊率领狼没什么区别，都不会为太子卖力的。太子肯定不可能建立战功。”你要请皇后找机会向皇上哭诉：‘英布是天下的猛将，善于用兵，如今各位将领都是陛下以前的同代人，却让太子率领这些人，这跟让羊率领狼没什么区别，不会为太子所用。
况且，让英布知道了，就会大张旗鼓地向西进军。皇上虽然生病，勉强乘车，躺着让人护理，各位将领就不敢不尽力。皇上虽然劳苦，但为了妻儿还是要勉为其难。”于是，吕泽连夜去见皇后吕雉。吕雉找到机会在刘邦面前哭诉，所说的话都是这四个人的意见。刘邦说：“我想这小子本来就派不上用场，还是老子自己去吧。”于是，刘邦亲自率军东进，群臣留守，都送到霸上。张良有病在身，勉强起来，送到曲邮，拜见刘邦，说：“我应该跟随的，只是病得厉害。楚国人骁勇敏捷，希望皇上不要跟楚国人争一时的高低。”张良趁机劝谏刘邦：“请任命太子为将军，监守关中的军队。”刘邦说：“张子房虽然有病在身，请勉强卧床辅佐太子。”这时，叔孙通做太傅，张良为少傅。汉十二年，刘邦率军打败英布的叛军，从前线归来，病得更加厉害，急迫地想改立太子。张良劝谏，刘邦不听，于是张良就称病不再理事。太傅叔孙通引用古今事例劝说刘邦，以死力保太子。刘邦假装答应他，但还是想改立太子。等到宴会时，太子刘盈在旁边侍奉刘邦。有4个人跟随在太子刘盈身边，他们的年纪都有80多岁，胡须和眉毛雪白，衣冠服饰十分奇特。刘邦觉得很奇怪，问：“他们是什么人?”四个人上前回答，各自说出自己的姓名：东园公、角里先生、绮里秀、夏黄公。
刘邦大惊，说：“我寻求诸位好几年，诸位总是逃避我，如今，诸位为什么会跟随在我儿子身边呢?”四个人都说：“陛下轻视士人，喜欢谩骂，我们信守道义不愿受辱，所以害怕的逃亡隐藏起来。我们私下听说太子为人仁厚孝顺，态度恭敬，爱慕士人，天下没有人不愿伸长脖子为太子效死的。所以，我们来了。”刘邦说：“麻烦诸位始终如一地调教和保护太子吧。”四个人向刘邦祝福完毕，就快步离开了。刘邦目送他们离去后，召来戚夫人指着四个人，说：“我想换太子，可那四个人辅佐他，太子的羽翼已经丰满，难以更换了。皇后真是你的主人了。”