吕思勉说过：“汉室盛衰，当以宣、元为界。”也就是说，宣帝在位及以前，朝政运行较好，处于兴盛状态;自元帝以后，宦官外戚竞相专权，纲纪紊乱，国势衰微。
性情柔弱缺乏主见
客观地说，汉元帝不失为一位多才多艺、品行不错的好人。但是，好人不一定成为好君。作为君主，汉元帝谈不上优秀，主要是性格与能力问题。史书说他“柔仁好儒”。其实，这并非弱点，一个君主胸怀宽宏柔软，主张行仁政，偏好重用儒臣，应该是天下人福分。问题是，汉元帝的宽柔最终表现为优柔寡断、软弱可欺，不能驾驭局势，听任宦官专权。
宣帝临终前，已为元帝安排“三驾马车”辅政，以乐陵侯史高领衔，太子太傅萧望之、少傅周堪为副。史高是宣帝祖母史良娣的侄孙，宣帝幼年时养在史家，与史高关系密切。重用外戚是西汉的政治传统，宣帝也不例外。萧望之、周堪都是元帝的老师，一代名儒。元帝即位后，对两位恩师格外倚重，多次宴见两人，探讨治国方略。萧望之随后双引荐宗室大儒刘更生(成帝时改名刘向)、侍中金敞参与朝政，四位儒臣“同心谋议，劝导上以古制，多所欲匡正;上甚乡纳之”。
元帝的信任与支持，似乎让萧望之等儒臣看到改弦更张推行仁政的希望。然而，元帝与儒臣相得益彰的好景只是昙花一现。元帝对两位师傅特别信任，儒臣的影响力与日俱增，致使被冷落的史高心理失衡，与萧望之产生嫌隙，权力斗争的阴影随即笼罩着朝廷。史高与宦官里外呼应，议论常坚持遵从故事或惯例，反对萧望之的改革主张。萧望之忧虑外戚放纵、宦官擅权，于是向元帝建议：中书是国家政事之本，应由贤明公正之士掌管，武帝优游饮宴于后庭，任用宦官掌管中书，不合乎国家旧制，且违反“古不近刑人之义”，必须予以纠正。元帝初即位，由于谦让，不敢做出调整，议论久而不决。萧望之提出此动议，却招致宦官中书令弘恭、仆射石显等人嫉恨，于是他们与史、许两姓外戚联手，共同对付萧望之，只用两个回合，就将萧望之逼死。
萧望之饮鸩自杀，元帝非常震惊，为之痛哭流涕，责怪弘恭、石显等人害死自己的贤傅。师傅含冤身亡，让元帝终生难以释怀，追念不已。此后每年忌日，他都派使者前往萧望之墓地祭祀。在这个事件上，元帝的性格缺点暴露无遗。如果他坚信萧望之贤良忠诚，完全可以使萧免遭小人陷害。可是他缺乏主见，容易被宦官左右。两次让萧望之下狱，都是听信小人谗言而草率下诏。第一次是他不知“招致廷尉为下狱”，轻易被官宦忽悠;第二次是在他明知道师傅性情刚烈，仍被宦官牵着鼻子走，让师傅再次蒙受下狱羞辱。再者，他已然知晓师傅清白无辜，却没有惩治逼死师傅的幕后推手，只是口头责问弘恭、石显等人，使其“免冠谢”而已，事后对他们宠信如故。如此宽仁，实则是非不分，赏罚不明，使得宦官有恃无恐，日后更为放纵。
从萧望之死，也能看出元帝政治上短视与低能，空怀匡正理想，而缺乏战略眼光与政治谋略。毫无疑问，元帝若要推行新政有所作为，必须将儒臣作为主要依靠力量。毕竟萧望之等儒臣不仅胸怀治国平天下的理想，而且具有较高的治理能力与道德修养。而宦官、外戚往往注重自身的权势与利益，既缺乏对天下的担当，又缺乏做人的操守，只要满足一己私欲，哪管死后洪水滔天。元帝居然让宦官逼死萧望之，放逐其他儒臣，无异于自废武功，自断臂膀。
汉元帝刘奭剧照
倚重宦官威权旁落
外戚、儒臣、宦官三种势力角逐，宦官终究成为大赢家。萧望之死后不久，中书令弘恭当年病死，石显继任中书令。此后，中枢权力急剧失衡，向石显一方倾斜。出于对石显的信任及自身健康原因，元帝将朝政全部委托他处理，事无大小，都由他汇报决断。于是石显威权日盛，贵幸倾朝，公卿以下无不畏惧他。石显俨然一言九鼎，“重足一迹”。元帝虽为天子，权柄却握在石显手中，一切听任石显说了算。
元帝特别宠信宦官，主要基于一种天真的想法，认为宦官没有家室，不会缔结“外党”。但这是一种错觉，石显之流其实颇擅长“结党”，他不仅与宫廷太监结为“内党”，而且勾结史丹、许嘉等外戚，并拉拢那些见风使舵的匡衡、贡禹、五鹿充宗等儒臣，结为“外党”;内外呼应，兴风作浪，党同伐异。易学大师京房曾提醒元帝不要宠信佞臣，元帝却执迷不悟，依然听任石显专权;京房触怒石显，很快被逐出朝廷，随后又因“非谤政治”而被处死。
当然，石显能得到元帝信赖，必然有他过人之处。“(石)显为人巧慧习事，能探得人主微指，内深贼，持诡辩以中伤人，忤恨睚眦，辄被以危法。”(《汉书·佞幸传》)元帝“好儒”，石显乐于投其所好。萧望之含冤而死，朝廷内外议论纷纷，石显为了逃避责任，转而向儒士示好，极力向元帝推荐大儒贡禹，让他担任御史大夫。此举，收到一箭三雕的效果，一则迎合元帝意趣，二则讨好天下儒士，三则博得举贤任能的好名声。此后，凡是依附石显的儒士，都会得到重用，官运亨通。如匡衡、五鹿充宗，分别官拜丞相、尚书令。如果不依附或反对石显，即使是元帝亲自选用的，也要被他排除。元帝重新起用周堪，并提拔其学生张猛，石显不是在元帝面前谮毁，就是暗中捣鬼，使元帝无所适从，逐渐疏远两人。周堪后来疾喑，不能言而卒，张猛被逼迫自杀。
尽管石显熟悉法典，精于权术，但缺乏治国理政才能。如此心术不正的人，不但不能造福于国家与民众，而且还追求个人利益最大化，成为贪腐的“大老虎”。在这个“大老虎”擅权期间，纲纪紊乱，吏治腐败，欺上罔下，贿赂公行，奸佞得势，正气不畅。王昭君因为不愿出钱行贿，画师便将她丑化，不得不出塞远嫁匈奴。
失去王昭君，让元帝顿时惊悟。然而，对于宦官危害国家，他始终未能悟察。司马光在书写这段历史的时候，禁不住感叹：“甚矣，孝元之为君，易欺而难悟也。”说白了，元帝太好糊弄，居然让石显玩弄于股掌之间。在帝制时代，大权旁落乃为君之大忌，尤其是想要有所作为的君主，必须善用最高权力施展抱负。