要笼统说这是政治斗争，也不算错，不过霍光的斗争对象应该说是法统。虽是当初瞎了眼选错了人，可立了皇帝旋即而废，让天下人如何看待自己？霍光很苦恼，私下问以前交好的大司农田延年，田延年劝他禀告太后，重新选贤能。霍光问，我也想啊，以前有没有这样的传统呢？田延年说，“伊尹担任殷的相国，废太甲来安顿宗庙，后世都称其忠，你如果能这么做，大家都会夸你是汉的伊尹。”
于是，霍光再命田延年兼任给事中。田延年先去找丞相杨敞商量，杨敞听了大惊，不敢说话，汗出淋漓。趁着田延年上厕所的光景，杨敞的夫人立即从东厢房跑过来对杨敞说：“国家大事霍光大将军已决定了，派九卿来告诉你而已，你不马上答应跟从大将军的话，就要先杀你了。”于是，杨敞和夫人都向田延年表态了。
霍光私下又和车骑将军张安世商量，召集丞相、御史、将军、列侯、中二千石、大夫、博士在未央宫里开会。大家听说要废皇帝，开始都吓呆了，没有人敢吱声；田延年向前，走出座位按着剑说：“先帝以霍光将军托孤，现在社稷将倾了，如果让汉家绝祀，霍将军死后有何面目见先帝。今天的这件事，不允许反对的，谁不应，我就要用剑斩杀。”霍光唱白脸了：“是我不对，是我不好，现在天下洶洶不安，都是我的错。”大家都叩头，称：“天下百姓的命运都掌握在将军手中，我们都听从你的指挥。”
于是，昌邑王遂废。另立了从民间来的，毫无根基的刘病己为帝。
这种胁迫下的“唯大将军令”，到底有几分真心、几分假意？不好说。我们不妨倒推一下。伊尹把太甲囚禁三年，想必当时反对者亦不少，私底下少得了难听的话吗？周公辅政，势压成王，又有多少人说他是谋权篡位？过了几百年一看，居然都成了圣人先贤，万世之楷模了！霍光于无奈之中的废帝之举，恐怕也想仿效伊尹吧。只是，伊尹所处的奴隶社会，君权哪有这么至高无上？换了霍光的时代，哪怕是大家不得不承认他的做法有道理，宣帝也对他超越帝王的权力怀恨在心。
坦白地说，我并不先天性地讨厌“权臣”，不讨厌霍光不讨厌王凤，因为，现在看问题并不是只能站在皇权一方的惟一角度了。