武帝死后，继位的昭帝年仅八岁，政事皆由大司马、大将军霍光决断[3] ，前述盐铁会议就是在霍光的授意下，由昭帝下诏决定召开的。与霍光一起受武帝托孤的上官桀之子上官安娶霍光之女为妻，生有一女。始元三年(公元前84年)，此女年仅五岁，上官桀父子意欲将其送入宫中为昭帝后，被霍光拒绝。后上官安通过武帝长女盖公主之男宠丁外人的关系，达到目的，上官安被封为车骑将军。霍光由于拒绝了上官桀父子封丁外人为列侯的请求，引起了上官桀父子与盖公主的怨恨。桑弘羊也因为自恃在武帝时推行盐铁专卖之功，欲为其子弟求官而不得，亦对霍光专权表示不满。这些反对霍光的势力聚集在燕王旦周围，密谋除掉霍光。燕王旦是武帝之子。
太子刘据因巫蛊之祸 死后，刘旦按次序当为太子。但他继位心切，反遭武帝厌恶，不但未能立为太子，反被削去封国三县，使刘旦大失所望。昭帝继位后，刘旦更加不满，曾与中山哀王之子刘长、齐孝王孙刘泽共同谋反，后因事泄失败。刘泽等被处死刑，而刘旦因与昭帝至亲，特许勿治。刘旦没有丝毫悔改之意，暗中加紧网罗反对霍光与昭帝的势力，不断与上官桀等人联络。元凤元年(公元前80年)，刘旦上书控告霍光 专权自恣，疑有非常 ，请求入京侍卫，准备与上官桀等人一起，趁机除掉霍光。他们诬陷霍光的阴谋破产后，便准备以宴请霍光为名，将其刺杀，然后废昭帝，立刘旦为天子。事情被揭发后，霍光诛杀上官桀、上官安父子、桑弘羊、丁外人及其宗族。燕王刘旦、盖公主自杀而死。 历史上称这一事件为 燕盖谋反。燕盖谋反 的失败标志霍光已清除了反对派势力。此时，金日磾早已死去，而上官桀、桑弘羊又被诛杀，霍光的权力日盛， 威震海内 ，其家族党亲连体，根据于朝廷 ：霍光之子霍禹及其兄之孙霍云皆为中郎将，霍云之弟霍山为奉车都尉侍中，领胡越兵，霍光的两个女婿范明友、邓广汉为东西宫校尉，其他昆弟、诸婿、外孙皆为奉朝请、诸曹大夫、骑都尉、给事中。昭帝行冠礼后，仍继续委任于霍光。
元平元年(公元前74年)，22岁的昭帝病死。因其无后，群臣推举武帝唯一尚在世的儿子广陵王刘胥继位。史书上称刘胥好倡乐逸游 ，动作无法度 ，不为武帝所喜爱，亦不孚众望，所以有人提出广陵王刘胥不可以承宗庙的意见以后，霍光当即表示同意，遂以皇太后名义诏昌邑王刘贺继位。
刘贺入朝受皇帝玺后不久，霍光又以其 行淫乱 、失帝王礼仪、乱汉制度，数进谏，不变更，日以益甚，恐危社稷，天下不安为名，率群臣上奏皇太后将其废黜。
公元前74年，霍光选择了武帝太子刘据之孙、十八岁的刘询继位，是为宣帝。刘据因 巫蛊之祸 死后，出生仅数月的刘询被送至民间收养，后遇赦回至皇宫，被称为 皇曾孙 ，但其地位与平民无异，娶啬夫许广汉之女为妻。由于他自幼生长民间，左右无众多心腹，在中央亦无势力，霍光便以其 躬行节俭，慈仁爱人 为由，迎入未央宫。