欧阳修活了66岁，做了42年的公务员，一生三次被贬，两次与范仲淹有关，还曾两次遭遇绯闻。
第一次被贬是在1030年5月。当时范仲淹上《百官图》，批评宰相结党营私，任人不唯贤，结果反遭诬陷，贬至饶州。欧阳修对范仲淹主张改革、为政清廉向来尊重，公开发表言论表示支持，结果也被贬到湖北夷陵。第二次被贬是在1045年秋，与范仲淹“庆历新政”失败有关。第三次被贬是在1067年，英宗去世，神宗即位。国丧期间，欧阳修内穿紫袄，被御史弹劾，贬，知亳州。
欧阳修遭遇绯闻，起于第二次被贬前。1043年，青年皇帝仁宗亲政，面对内忧外患，他号召群臣出谋献策，改革吏治。范仲淹提出的十项改革方案，得到仁宗的赞赏。短短几个月，范仲淹就被提升为参知政事，担任副相。在“庆历新政”推行过程中，越来越尖锐地触及既得利益者，譬如裁减冗员、惩治腐败，必然引起保守派的强烈反对。有人攻击范仲淹搞派系斗争，利用少壮派打击元老派，闹得仁宗不知如何收场。次年6月，西北边事吃紧，仁宗正好趁机让范仲淹去守边。11月，进奏院的刘巽和苏舜钦召集文人聚会，说了一些不该说的话，被人举报，仁宗大怒，批捕数十人，史称“奏邸狱”。
1045年新年刚过，杜衍被罢相，富弼被免职，推行“庆历新政”的主要人物作鸟兽散。欧阳修不识时务，公开为改革派鸣怨叫屈，惹仁宗不悦。但仁宗惜欧阳修之才，不想拿他怎么样。此时欧阳修的朋友田况由真定改任秦州，仁宗就让龙图阁直学士、河北都转运按察使欧阳修临时代理真定府事宜。可是，一个险恶的阴谋正在向他袭来，始作俑者就是谏官钱明逸。
钱明逸嫉恨欧阳修，说出来令人啼笑皆非。据《钱氏私志》载：欧阳修“后修《五代史·十国世家》，痛毁吴越，又于《归田录》中说文僖数事，皆非美谈。从祖希白尝戒子孙，毋劝人阴事，贤者为恩，不贤者为怨。”也就是说，欧阳修在参与编纂《新五代史》时，贬斥了钱氏的祖宗，即吴越国王钱氏家族。
钱明逸将诬告欧阳修私吞财产的状纸递到开封府。开封府尹杨日严阅状而窃喜，因为他主政益州(今成都)时，大肆敛财，贪污官银，曾遭到欧阳修弹劾，一直怀恨在心，这下正好撞到他枪口上。状纸经开封府递达朝廷，宗仁即刻着人调查。结果查无证。但钱氏家族并不就此罢休，换了一种方式攻击欧阳修，制造了“盗甥”和“私从子妇”的绯闻。
“盗甥”事件是诬陷欧阳修与外甥女通奸。欧阳修妹妹嫁张氏不久便守寡，张氏前妻遗一女，欧阳修可怜她们，将她们接到家里抚养。其外甥女长大成人后，嫁与欧阳氏远房侄子欧阳晟，但她不守妇道，与家仆私通，被人告发。后受人利用，屈打成招，竟然说欧阳修和她有乱伦，还欺占了她娘家的财产——有人事先用张氏的家财购买田地，落在欧阳修名下。显然这是一起有预谋的政治斗争，目的就是置欧阳修于死地。
尽管仁宗皇帝不相信欧阳修会做出如此伤风败俗之事，并多次作出批示，表明态度，但人言可畏，何况那些人不依不饶，仁宗只好将欧阳修贬到滁州。到滁州后，欧阳修还是比较乐观的，游山玩水，赋诗作文，如散文《醉翁亭记》、七古诗《菱溪大石》等，几乎看不出他有什么失意的牢骚。可是，“盗甥”绯闻被小人四处传播，如影随形，历时长久，欧阳修心情岂能不受影响。
“盗甥”事件之后，那些小人又编造出“私从子妇”的绯闻，说欧阳修与儿媳乱伦——宋司马光《涑水纪闻》言：“士大夫以濮议不正，咸疾欧阳修，有谤其私从子妇者。御史中丞彭思永、殿中侍御史蒋之奇，承流言劾奏之。之奇仍伏于上前，不肯起。诏二人具语所从来，皆无以对，俱坐谪官。先是之奇盛称濮议之是以媚修，由是荐为御史，既而攻修，修寻亦外迁。其上谢表曰：‘未乾荐祢之墨，已弯射羿之弓。’”
经历两次绯闻的打击后，欧阳修心灰意冷，淡薄仕途，多次要求退休。1071年，欧阳修办好退休手续后，回到安徽颍州，次年与世长辞。