赵文华任刑部主事时，因职务之便可预先查看官员弹劾严嵩的奏折，便向严嵩告密，使其设法脱罪并迫害弹劾官员。
为博取嘉靖的宠信，赵文华私自向他进献“百花仙酒”，谎称严嵩年近八旬还身体健硕、精神抖擞就是因为天天服用此酒。嘉靖生性多疑，不敢随便服用，便召严嵩询问，结果得知赵文华是胡说八道。嘉靖打算追究赵文华欺君之罪，赵文华跪在严嵩面前一把鼻涕一把泪地哀求，又用重金贿赂严嵩的妻子，严嵩这才为他说情并使他得以幸免。
嘉靖三十四年(1555年)，赵文华以工部侍郎的身份前往浙江巡视。浙直总督张经刚与倭寇交战，并已获胜。不料赵文华出于私怨，勾结监察御史胡宗宪诬告张经谎报军情、冒领军功，以致张经被冤杀。而赵文华占据了张经的军功，胡宗宪也升任浙直总督，成为东南抗倭明军的最高指挥官—幸亏胡宗宪在任上剿倭有功，否则朝廷的损失就更大了。
1557年，赵文华负责监督改造正阳门楼，利用职务之便贪污公款、任用奸人，搞出个“豆腐渣”工程。嘉靖一怒之下将赵文华革职，他忧惧交加，在回乡途中病倒了，一日因抑郁难舒而揉按腹部，结果脏腑爆裂而出，当场横死。
按说像赵文华这种级别的高官，即使获罪免职，朝廷也该对其死讯表示一下，比如给其家人拨点安葬费什么的。但就在这节骨眼上，给事中罗嘉宾弹劾赵文华在东南抗倭最艰难、最关键的时刻侵吞军饷，数额高达十几万两白银。向来标榜勤俭节约的嘉靖暴跳如雷，下令严查，很快坐实了赵文华的罪状。
于是嘉靖下旨查抄赵文华的家产，但其中大部分已被转移或花掉了，最后只搜出一万多两白银，远远不能抵销他所贪污的公款账目。嘉靖先将负责抄家的官员臭骂一顿，接着下了一道更为严厉的圣旨，将赵文华家的女眷卖为官奴、男丁发配充军，同时责令他们继续还债。
赵文华的子孙就这样一代接一代地辛苦还债，直到隆庆去世才还了三分之一左右。万历十一年(1583年)，有些浙江官员见赵文华的子孙实在可怜，便向朝廷详细汇报他们的惨状，奏请免除他们背负的“祖宗债”。然而万历是出了名的贪财皇帝，怎肯放过这笔收入?于是他旁敲侧击地示意赵文华的子孙继续还债——要么把钱还清，要么全家死光。
虽然万历朝之后就没了赵文华子孙还债的史料记载，但从万历在位48年来看，他们至少为祖先还了60年以上的债，堪称史上最倒霉的贪官后代。