据记载，《明史》将严嵩列为明代六大奸臣之一，称其“惟一意媚上，窃权罔利”。透过戏曲和文艺作品、历史典籍，严嵩的奸臣形象已深入民间。
为什么严嵩是明朝的罪人呢?这期间究竟有着怎样的故事?
严嵩倚仗权势，贪污纳贿，侵占民产、作恶甚多。严嵩柄政期间，朝中官员的升迁贬谪，不是根据其人的贤愚廉耻和能力大小，而是凭他们对严嵩贿赂的多寡。因此，每天到严府有贿的人络绎不绝，相望于道;馈赠之物，鱼贯联珠，斗量车载。
礼部员外郎项治元贿赂严嵩一万三千金而升任吏部主事。举人潘鸿业贿赂严嵩二干二百金得任山东临清知州。犯罪军官仇銮，被革职后为了复官，以重金贿赂严嵩父子后，竟当上了宣府、大同总兵要职。
当时，南北给事、御史等监察官吏都认为，朝中贪污大臣首推严嵩。
严嵩父子侵占的民间田产仅在北京附近就有庄田一百五十余所。另外，在南京、扬州等地豪夺、强买之良田、美宅也有数十处。
这些田产每处价值均有数千金，但严嵩父子强买时，卖者往往只能得银十分之四、五。严嵩父子在原籍侵占之民田更是惊人，袁州(今江西宜春)一府四县之田，竟有十分之七被严家侵占。
由于严嵩父子大肆搜刮民财，渔肉百姓，其家财可与皇帝比富。
严嵩的府第都是雕梁画柱，峻宇高墙，其巍峨壮丽不减朝堂，至于金银珠宝更是难以计数。严嵩子严世蕃曾自夸说：“朝廷不如我富。”后来，严嵩事败被抄家时，抄出黄金三万余两，白银二百多万两，其它珍珠宝玩价值数百万两。
就连严嵩的家仆严年，家财也以数万两计。严嵩父子的生活相当奢侈糜烂。特别是严嵩子严世蕃，美妻爱妾，列屋群居;衣皆龙凤之纹;饰尽珠玉之宝;张象床，围金帐;朝歌夜舞，荒淫无度。对这种腐化生活，严世蕃自鸣得意地说：“朝廷不如我乐!”。
严嵩的奸贪和倒行逆施，还直接削弱了明朝的边防力量，造成了北方鞑靼贵族军和东南倭寇对明朝的严重威胁。
明中叶，蒙古瓦刺部渐衰，鞑靼部乘势兴起。不久，鞑靼部达延汗统一了蒙古各部。嘉靖二十三年(1544年)达延汗死，其孙俺答汗势力独盛。在此期间，蒙古俺答汗屡次率军骚扰内地。
但是明政府自严嵩柄政以来，边将为了保官升职，把诸边军粮大半贿赂了严嵩，以致军士饥疲，边防大坏，无力抵御蒙古鞑靼贵族统治者军队的骚扰。
特别是嘉靖二十九年(1550年)，鞑靼部俺答汗率军长驱直入北京郊区，北京城已处于万分紧急状态。
但严嵩不顾军情紧急，只考虑如果在京郊战事失利难以瞒住皇上，自己作为内阁首辅难脱干系，便千方百计阻止抗战。国子司业赵贞吉等主张出兵保卫京师，严嵩却污蔑他狂诞，致赵贞吉被世宗朱厚熄廷杖、贬谪。
严嵩还授意兵部尚书丁汝夔说：“京郊不比边塞，在边塞战败还可掩饰，而京郊战败人所共知。俺答军抢掠够了就会离去，我们惟有坚壁是上策。”
于是，兵部发令，不得轻易出战。各路勤王军到京，严嵩又荐举其党羽仇銮为大将军，节制诸路勤王兵马。在严嵩、仇銮的节制下，各路勤王军队只是坐观俺答军杀掠人口，抢夺财物。仇銮所率军队甚至尾随俺答军后趁火打劫，烧杀抢掠比俺答军还凶狠。
一直到俺答军在北京城郊烧杀抢掠数日，押运着大批男女、金帛、财物志满得意地离去，仇銮才率军佯作追击，杀了几十个百姓的头来冒功。世宗朱厚熄不加核实，竟加封仇銮为太保，并赐金币。
不过，世宗朱厚熄对于俺答兵临城下还是感到有失皇帝的面子，他为了泄愤，便把兵部尚书丁汝夔下狱。
严嵩怕丁汝夔在这个时候揭发自己曾经授意他不出战的罪行，便宽慰丁汝夔说：“有我在，一定不会让你死去。”
可是当世宗朱厚熄发怒要处死丁汝夔时，严嵩又噤若寒蝉，一言不发。丁汝夔临刑时方知受骗，大呼“严嵩误我!”
嘉靖二十九年(1550年)是庚戌年，历史上称这次事件为“庚戌之变”。
这次事件发生的原因是多方面的，但与严嵩倒行逆施，废弛边防有着直接的关系。
东南倭寇是日本海盗集团。早在明初，倭寇已经在中国东南沿海出现。但当时明朝国力强盛，海防巩固，所以尚未酿成大患。到了嘉靖年间(1522—1566年)，由于世宗朱厚熄的昏愦，严嵩的奸贪，明王朝的沿海防务已经十分空虚。
如地处海防前线的辽东、山东、浙江、福建、广东诸卫所的士卒仅有原额的三分之一;沿海战船十存一、二，遇警只好募渔船充数。每当倭寇大举进犯时，因无抵御能力，使人民的生命财产惨遭倭寇屠杀和掠夺。
嘉靖三十一年(1552年)以后的三四年间，江浙军民被倭寇杀害的就有数十万队。所以，倭寇是明代嘉靖年间(1522—1566年)东南方面最严重的祸害。
但是操纵内阁大权的严嵩却包庇、纵容通倭官僚，打击、陷害抗倭将领。如福建巡抚阮鹗通倭案发后，阮鹗以重金贿赂严嵩，竟免治罪。
相反，抗倭将领张经曾在嘉靖三十四年(1555年)于浙江大败倭寇，俘斩倭寇二千人，取得了抗倭战争以来最大的一次胜利。
但由于没有贿赂当时任东南督军的严嵩义子赵文华，竟被严嵩和赵文华以冒功罪陷害致死。
抗倭名将俞大猷，为人耿直，不会逢迎拍马。严嵩恼怒他不奉承自己，就制造事端把他逮捕入狱。
朝中许多官员爱惜俞大猷的将才，凑了三千金贿赂严嵩，才保住俞大猷的性命改为发配大同戍边，由于严嵩及其党羽颠倒功罪，倒行逆施，东南海防将吏解体，纪，律大坏，以致倭寇愈加猖獗。