北宋王巩在《随手杂录》里写了一个故事：
宋初大将曹彬和潘美攻太原（当时的北汉都城），快要打下的时候，曹指挥部队却稍稍退却，潘美力争进兵，曹彬始终没有答应。
回到京城，潘美问曹彬为什么退兵不前。曹彬慢悠悠地说：“皇上曾经御驾亲征太原，我们要是把它攻下来了，一定很快被杀掉。”回到朝廷的时候，宋太祖问起这件事，曹彬回答说：“陛下神武圣智，且不能下，臣等安能必取？”皇上听了点头称许。
如果打下来了呢？有一句俗话说，大恩不言报。但有时候，是要报的，不是报答，是报仇。尤其你的受惠者是皇帝的时候。
人的心理是一种很微妙的东西。谁喜欢对自己有恩的人呢。还另有一个专供皇帝用的名词：功高盖主。曹彬比潘美更懂得政治智慧。万一大家都觉得你比皇帝还棒，你以后想造反了怎么办？要不然，为什么立国稳定之后，多数开国皇帝第一个想到的都是诛杀功臣？
放到宣帝身上，还有另一层担忧：他的帝位是霍光把他捧上去的，捧得上去，也摔得下来。
当初，是霍光挑选了他，并亲自奉上皇帝玺绶的。霍光也因此食二万户侯，前后赏赐黄金七千斤，钱六千万，杂缯三万匹，奴婢百七十人，马二千匹，甲第一区。
昭帝时，他的一门子弟全部沾光，儿子霍禹及侄子（一作侄孙）霍云都是中郎将，霍云弟弟霍山为奉车都尉、侍中，霍光的两女婿为东西宫卫尉，昆弟诸婿外孙皆奉朝请，为诸曹大夫、骑都尉，给事中。霍光临终时，宣帝亲自去看望他，听了霍光的心愿，马上拜霍禹为右将军。其葬礼，皇帝与太皇太后亲自到场，极尽哀荣。
霍光说要归政给宣帝，宣帝谦让不接，大小事情都先让人奏报霍光，然后再告诉天子；霍光每次朝见，宣帝都“虚己敛容，礼下之已甚”。这是霍光在的时候。然而宣帝和霍光一起乘车的时候的“芒刺在背”，说明宣帝在忍。
此时，霍氏一族势力已经遍布朝廷，我们可以看看他们是怎么干的。
霍光的夫人霍显，开始修改霍光自己建造的坟茔，扩建到“北临昭灵，南出承恩”，又装璜奢侈，把良人婢妾幽禁起来守陵。霍府也大搞扩建工程，侍婢们穿得花花绿绿的在宅第中游戏。可霍夫人有特权啊，她还带着霍府的女誊经常跑到长信宫中玩呢，玩得天昏地暗，不分昼夜，因为皇后是她的嫡亲女儿。
霍禹、霍山们也一点不省心，同样在大治宅第，还在皇帝的上林苑平乐馆里斗鸡走马；霍云呢，轮到他上朝了，他还装病请假，在黄山苑中围猎，没有人敢说他。
演变到后来，霍家和御史大夫魏相家的奴仆争道，霍氏奴进入魏相府中，要踢坏魏相的门，御史向他们叩头道歉，这个奴才才离开。
这些都是细节，不过，在汉代，通常这些细节就足以让一位大官下狱，然后体面地自杀。可是，霍家没事。
魏相后来当上丞相，很受皇帝信任；平恩侯和侍中金安都能直接出入宫禁，官吏百姓也可以密封奏章上报，不必通过尚书霍山。又是一些细节。可以看出，宣帝已经在剥离霍家的权力。此时，霍氏已经预知不好了。
因为霍显还干过一件更牛的事情，就是勾结医官杀了许皇后，以方便送自己的女儿当皇后。
霍氏当了皇后之后，依然不识礼数。其时，后宫中有上官太皇太后，与她是一对可笑的亲戚。按亲族来论，上官氏是霍氏的外甥女，是晚辈；按夫族来论，上官氏是霍氏的叔婆，是长辈；按国家宗庙来论，上官氏的太皇太后身份又压了霍氏的皇后身份两头。
可是结果呢，上官氏对霍氏“常竦体，敬而礼之”，对霍氏直身而立，尊敬有加。（日后，“霍光诸女遇太后无礼”便成了一条罪状）宣帝前后有两任皇后，许皇后节俭孝顺，对上官氏孝顺；霍氏却舆驾侍从甚盛，赏赐官属以千万计：这一对比，高下就出来了。
我还没有提在霍显的授意之下，霍皇后屡次欲给太子下毒而未遂的狗血剧呢。
宣帝也是一个掌控能力很强的人，霍氏干了什么他是心里有数的。包括霍显杀死许皇后，他也早有耳闻。但，就是在这种情况下，他还是对霍皇后专宠。也正是因为有了这种专宠，霍氏一家才那么放心大胆。
假如我们做事后诸葛亮，到底宣帝是真心喜欢霍氏，还是在下一步隐忍的棋呢？你猜。宣帝给霍光、给霍氏一族如此多的荣耀，是不是也是他想除去霍氏的计划的一部分呢？
霍光死后三年，霍氏就因为谋反被族诛了。当然，他们一点也不冤。他们遇上了皇帝的钓鱼执法，当然不冤。