刘邦分型了异姓王以后，觉得异姓王权力太大，就费尽心机夺回异姓王手中的权利。异姓王反叛谋反逃跑等等诸多事件以后，异姓王已经不再刘邦觉得他们是自己的威胁，将他们和地方的名门望族共十几万人全部迁到关中居住，置于中央控制之下，消除了后顾之忧。异姓王的权力一小，顿时，丞相的权力太大就明显的突出了起来。
于是，刘邦觉得丞相的权利太大了。关于丞相的过大权力，刘邦通过把萧何下狱来打击削弱相权。在刘邦平定了黥布叛乱回到长安后，萧何提议把上林苑开放，让百姓去耕种，因为上林苑基本上已经荒芜，并不是养兽供皇帝狩猎的地方。刘邦一听就恼了，硬说萧何拿了商人的贿赂，所以才替他们说话，借百姓之名为商人牟利。
刘邦将萧何关进了监狱，几天后，有大臣问丞相犯了什么罪，刘邦却为自己狡辩说：“原先李斯做秦国的丞相，凡是功劳都归始皇，不好的事都由自己承担。但丞相萧何却接受了商人的贿赂，替他们求我开放上林苑，刁买人心。因此要治他的罪。”通过打击元老功臣萧何，刘邦在削弱相权的同时将皇帝的权力提高了。
萧何一直备受刘邦的恩宠，而刘邦突然的将自己下狱，萧何很不理解，就召了门客出主意。一个门客全萧何说，是因为萧何权力太大，受到百姓的拥护，不就以后将要满门抄斩，只有自污名节，让百姓骂他，才能让刘邦放心。于是，萧何听从了门客的主义。
萧何当时已是60多岁的老人了，见刘邦开恩释放了他，更是诚惶诚恐，谨慎恭敬。虽然因为全身带上刑具，害得他手足麻木，连路都快走不动了，而且蓬头赤足，污秽不堪，但又不敢回府沐浴再朝拜天子，只得这样上殿谢恩。刘邦见萧何如此狼狈，也觉得有些过意不去，便安抚萧何道：“相国不必多礼!这次的事，原是相国为民请愿，我不允许。我不过是夏桀、商纣那样的无道天子罢了，而你却是个贤德的丞相。我之所以关押相国，就是要让百姓知道你的贤能和我的过失啊!”刘邦的这段话虽然言不由衷，但对萧何的廉政为民，终于还是默认了。从此以后，萧何对刘邦更是诚惶诚恐，恭谨有加了。刘邦也照例以礼相待，但萧何从此对国事就只能保持沉默了。
汉十二年(公元前195年)四月二十五日，汉高祖刘邦病逝于长乐宫，享年62岁。同年，太子刘盈即位，是为惠帝。萧何继任丞相。