霍氏一族的发迹，始于汉武帝，而在霍光辅政的汉宣帝期间，达到顶峰。霍去病是汉武帝时期有名的“战神”，因为抗击匈奴屡立奇功被封为大司马骠骑将军;他的舅舅是大司马大将军兼驸马卫青;姨母是武帝皇后卫子夫。此时，霍家的实力已经不容小觑了。卫青、霍去病当时均称得上战功赫赫、权倾朝野，关系也甚是亲厚，但却从不肯养士、结党。霍光是霍去病同父异母的弟弟，因为兄长的关系任奉车都尉，负责保护汉武帝的安全，也得到了武帝的信任。霍去病虽然能征善战，却命不太好，二十四岁便英年早逝，仅留下的一个儿子也夭折，于是霍去病这一脉，到此基本已经断了。
网络配图
其四，发动政变，意图谋反。霍光死后，宣帝已经下定决心除去这一心病，他并没有首先追究许皇后的死因，而是先进行了一系列人事变动，调整了霍氏亲信的职位，暗中削夺了他们的实权。眼看着大权旁落，霍家人开始有了危机感，与其让皇上灭掉自己，不如先下手为强。
他们谋划要利用太后设宴的机会，将丞相魏相、平恩侯许广汉等召来，再让范明友、邓广汉等人用太后的旨意将他们处斩，然后废掉皇帝，立霍禹为帝。但是，这个阴谋被宣帝发现了，除了霍山、霍云自杀之外，其余霍家人均被斩首弃市，因与霍家有关联被定罪诛灭的达数千人。自此，这个显赫一时的家族灰飞烟灭了。
无论是不忠、弑后、杀太子、还是谋反，每一条追究下来，当时都是灭门的死罪，都是不能触碰的底线。然而，霍家人却无视这样的规则，致使数十年基业，毁于一旦，甚至背上千古的骂名。