霍光作为汉武帝的托孤大臣，掌权近20年，为汉室安定和中兴建立了功勋。他一生辅佐三位君主、拥立两位君主、废黜一位君主，可谓声名显赫。但身死之后，又遭灭门之祸，不得不令人唏嘘。
霍光是霍去病同父异母的弟弟，靠着这层关系，当上了汉武帝的亲随。他处处小心谨慎，赢得了皇帝的信任。虽然仅仅只是一个“奉车都尉”，但汉武帝让他去辅佐幼子刘弗陵，还专门把周公负成王朝诸侯的画赐给他，意思是要他像周公那样辅佐好刘弗陵。
汉武帝去世后，刘弗陵即位，史称汉昭帝。霍光掌握朝廷大权，“政事一决于光”。刘弗陵的哥哥燕王刘旦串通同为托孤大臣的上官杰、桑弘羊等人图谋不轨，结果霍光先发制人，诛杀上官杰、桑弘羊等人，刘旦自杀身亡。自此，霍光独掌朝廷大权，他的儿子、女婿、侄子等也纷纷担任要职，“党亲连体，根据于朝廷”，霍氏一家可谓权倾朝野。
汉昭帝在位13年，21岁去世，没有留下子嗣。霍光力排众议，拥立昌邑王刘贺(即后来的海昏侯)为帝。从辈分上来看，刘贺是汉昭帝的侄儿，继承皇位也算名正言顺。但更重要的是刘贺年轻，便于控制。据说刘贺行事荒唐，结果霍光以太后的名义，宣布废黜刘贺，将他赶回封地昌邑。当霍光把废黜决定向宰相杨敞通报时，杨敞竟然惊吓得“不知所言，汗出洽背”。还是他夫人头脑清楚，对杨敞说：“君侯不疾应，与大将军同心，犹豫无决，先事诛矣。”
废黜刘贺后，霍光另立已故戾太子刘据的孙子刘病已(后改名刘询)为皇帝，这就是汉宣帝。刘病已早年经历非常凄惨，刚出生时就遇上“巫蛊之祸”，祖父刘据和父亲等都死于非命，襁褓之中的刘病已被投入大牢。刘病已即位后，增封霍光一万七千户，加上原来所封，食邑达到二万户;霍光上朝时，更是“虚己敛容”，以示尊重。此时的霍光，真可谓位极人臣了。
其实，早在霍光辅佐汉昭帝即位之初，就有人劝诫他，要汲取汉初吕氏家族专权的教训，霍光当时也表示接受。废黜刘贺后，侍御史弹劾他“擅废立主，无人臣礼，不道”，霍光也并未追究。霍光还曾向汉宣帝表示要“稽首归政”，但未获皇帝采纳。应该说，霍光还是有所警觉的。不过，在立后一事上，他最终因私心而铸下了大错。
汉宣帝即位之初，霍光和他的夫人霍显就想让自己的小女儿霍成君当皇后，但汉宣帝还是立了自己的结发妻子许平君为皇后。不久，许皇后生病。霍显竟收买女医在药里下毒，害死了皇后。霍光得知后大为吃惊，一度想主动坦白，但犹豫半天还是将此事瞒了下来。事后，霍成君如愿当上了皇后。
3年后，霍光因病去世。汉宣帝念他的拥立之功，对其家人依然给予优厚的待遇，但霍氏家人没有收敛。汉宣帝立许皇后所生的儿子刘奭为太子，霍显得知后竟然叫霍皇后去毒死太子，结果在保姆等人的保护之下才未能得逞。
汉宣帝对霍家的种种不法行为是心知肚明的，但由于霍光的儿子、侄子和女婿等都被安插在要害部门、掌握军政大权，一时难以下手。不久，在一众大臣的帮助下，以明升暗降的方式，收回了霍氏家人控制的兵权。然后，借许皇后之事发难，霍氏一门被灭，与霍氏相连坐诛灭者达数千家;霍皇后也被废打入冷宫，12年后自杀。
司马光在评论时说了这样一段话：“霍光之辅汉室，可谓忠矣;然卒不能庇其宗”，原因就在于他“久专大柄，不知避去，多置私党，充塞朝廷，使人主蓄愤于上，吏民积怨于下，切齿侧目，待时而发”。