话说西汉的权臣霍光在汉昭帝面前的角色就类似于郭子仪，集朝中生杀大权于一身的他，如果有异心想谋皇位，只是几分钟就可以搞定的事。但霍光不负汉武帝的抚孤之恩，宁可选择“愚忠”，也不做“出格”的事。然而，霍光不做，并不代表他的子孙就不做。
汉宣帝掌握霍氏罪行后，镇定自若，把尚书这个职务交给霍云来当，名义上是给了霍家无上的权力，但霍云和整个霍氏家族来不及高兴，汉宣帝接下来的一道诏书就给了他们当头一棒。霍云的尚书位子屁股还没有坐稳，汉宣帝就宣布，大家上疏奏事，可以不通过尚书，直奏给皇帝，并美其名曰：为官民减压。
这样做实际上已把霍云的尚书权力架空。汉宣帝把朝中的“民事权”抓在自己手中后，接下来开始夺霍家的兵权。他采用明升实降的方法，先是把博陵侯霍禹尊为大司马，给了他和他父亲霍光一样的官衔，与此同时，取消了他右将军的军印，封亲信张世安为卫将军，统管北方八校尉，负责京师及军事调动工作。随后汉宣帝用这种方法，又陆续将霍氏家族在朝中掌握军政大权的成员调离了京城。不久，汉朝政府的军政大权，都被与霍家有仇的官员以及汉宣帝的祖母史良娣家族及许皇后的许氏家族所控制。
盛极必衰，失去实权的霍氏家族很快就体会到了什么叫“落地的凤凰不如鸡”。此时，弹劾霍氏家族的奏章如同雪花般飞向汉宣帝，汉宣帝紧握着这些奏章，终于露出了久违了的笑容，有了这些“罪证”，摧毁霍氏家族只是时间问题了。
网已布好，只等收网。果然，首先沉不住气的霍氏家族，先是以发牢骚的方式对汉宣帝表示了强烈的不满，接着升级到愤怒，当愤怒经过积累和沉淀后，他们决定以爆发的形式夺回失去的权势。
地节四年(公元前66年)，这是一个火热无比的夏天，愤怒到了极点的霍家人召开了一次家族会议。会议由霍禹主持，他作为霍氏家族的接班人，会议一开始便抛出这样的观点：怎样才能从朝中夺回失去的权势?
于是乎，霍氏家族成员纷纷发言，在强烈宣泄对汉宣帝的不满时，对号入座地说该如何如何把某某某拉下水，回到原来的位置。总之就像一首歌所唱的那样：拿了我的给我还回来，吃了我的给我吐出来……
就在众人口沫横飞、口绽莲花时，一直沉默不语的霍显说话了。她当真是“不鸣则已，一鸣惊人”。她一张嘴就把众人给镇住了：你们个个都是鼠目寸光，官复原职有什么屁用，如果我们不发动宫廷政变，废了汉宣帝，自立为王，我霍氏家族迟早都要玩完。
“汉朝待我霍家不薄，这样做未免太不厚道了吧。”沉默过后，霍禹代表霍家成员弱弱地问了这么一句话。
事已至此，“老毒物”霍显只得来了个实话实说，把毒死许皇后的事全部抖了出来。
杀害皇后的事将来被皇帝知道了，霍氏家族难免遭灭顶之灾。事已至此，霍氏家族已到了“箭在弦上，不得不发”的时刻了，于是，接下来，会议的主旨由“争权”变成了“夺位”。横竖都是死，不如来个轰轰烈烈，就算死也死得痛快。
会议于是奇迹般地达成了一致，密谋发动政变，步骤如下：杀丞相——废宣帝——立新皇(霍禹)。
然而，计划赶不上变化。就在霍家磨刀霍霍时，因为保密工作做得不好，计划泄露了。谋反的消息很快就被霍家一个马夫的朋友张章知道了。这个张章本来是来“叙旧”的，听到这样的消息，先是被惊得目瞪口呆，接着拔腿就以百米冲刺的速度往皇宫里跑。
结果可想而知，霍氏家族的谋反还没来得及付诸行动，汉宣帝的“镇压军”就到了，结果以迅雷不及掩耳之势把霍家围得水泄不通，打出的口号是“杀无赦”。自知难逃厄运的霍禹和霍显相继以自刎的方式结束了自己的生命。而霍氏家族的“中流砥柱”霍禹和霍显死后，意味着霍家已是一群乌合之众了。汉宣帝手中高举多年的“屠龙刀”丝毫没有留情，对霍氏家族无论男女老少，一律格杀勿论。
诛灭霍氏家族后，霍皇后成了唯一“幸存者”，汉宣帝没有直接砍了她的头，而是以“失德罪”把这位年仅二十三岁的皇后打入了冰冷的昭台宫。从此，庭院深深深几许，霍家千金独自悲。直到十二年后，霍皇后终于盼来了汉宣帝，然而，汉宣帝不是来赦免她的，而是把她打入了更阴森恐怖的“云林馆”去独居。至此，霍皇后最后的希望落空，绝望之余，在一个凄风凄雨的夜里，她以一块白绢吊死在“云林馆”。
至此，霍光一手打造的风光无比的霍氏家族，只因为他错爱了一个不该爱的“大无畏”的女人霍显，落得子孙绝灭的凄惨下场。这正应了一句话：盛极必衰。