根据史料的记载，刘贺被废的原因是他即位后“行淫乱”，引起了霍光的担忧，于是他在大司农田延年、车骑将军张安世暗中谋划。之后霍光召集百官询问“昌邑王行昏乱，恐危社稷，如何?”群臣“皆惊愕失色，莫敢发言”，这时候田延年站出来，响应霍光，与他一唱一和。
之后霍光率领群臣去见太后，也就是他的外孙女，“具陈昌邑王不可以承宗庙状”。接下来太后召见昌邑王，但下诏“诸禁门毋内昌邑群臣”，将昌邑王与他的党羽隔离开来，然后就把昌邑王像犯人一样带入，“伏前听诏”。在群臣联名的奏章中，列举昌邑王许多淫乱的行为。
比如说“亡悲哀之心，居道上不素食，使从官略女子载衣车，内所居传”，“ 常私买鸡豚以食”，“ 发乐府乐器，引内昌邑乐人，击鼓歌吹作俳倡”，“ 与孝昭皇帝宫人蒙等淫乱”等等。 因此后人认为“昌邑王立二十七日，罪过千馀，故霍光废之”。
难道昌邑王刘贺被废，真的只是因为他荒淫无道?其实不然，刘贺之所以被废，是因为他得罪了一个人，这个人就是霍光!自从汉武帝托孤以来，霍光成为大汉王朝的权臣，完全掌控着朝政。汉昭帝突然病死，让霍光一时有些手足无措，因为汉昭帝没有子嗣，必须选择新的皇帝。
当时有个两人最合适，一个是昌邑王刘贺，另一位是汉武帝唯一在世的儿子广陵王刘胥。此时的刘胥正值壮年，羽翼丰满，且与霍光有矛盾，因此不容易控制。所以综合考虑，霍光选择了年纪轻轻的昌邑王刘贺。但霍光看错了，刘贺即位之后，就大肆任用自己在昌邑国旧臣，想摆脱霍光的控制。
刘贺不愿意做霍光的傀儡，而霍光不愿意失去权臣的地位，于是一场围绕着权力的斗争开始了。不过长安毕竟不是昌邑国，刚刚即位的刘贺根基尚浅，根本斗不过经营几十年的霍光。所以说刘贺“行淫乱”，不过是霍光掩饰其废掉皇帝的借口罢了，真正原因还是为了权力。
废掉刘贺后，霍光挑选了根基更浅的刘病已做新皇帝，即汉宣帝。汉宣帝即位之初，吸取刘贺的教训，对霍光毕恭毕敬，才得以稳固皇位。在耗死霍光后，汉宣帝才得以真正亲政，之后他将嚣张跋扈的霍光一族灭门。刘贺虽然被废，不过还是活了下来，被封为海昏侯。