纵观中国古代文学史，僧道形象转为负面，是元明清三朝以来的现象。比如杂剧《竹坞听琴》《桂枝儿》《女贞观》，小说《水浒传》《金瓶梅》、“三言二拍”，都出现了犯色戒的僧尼形象。《水浒传》写到裴如海和《金瓶梅》写到潘金莲请和尚为武大郎做法事时，都出现了“一个字便是僧，两个字是和尚，三个字鬼乐官，四字色中饿鬼”这首打油诗。而道士做法的神异传说到明朝世情小说更是蔚为大观，不是用妖法害人就是用药物施展骗术。一本明清时的相书《神相铁关刀》还专有口诀教大家如何识别“奸僧妖道淫尼”。问题是好好的和尚、道士为什么会变成这种形象?
和尚何以为“淫”
僧人形象的转变和中国传统社会的主流价值观与统治者对宗教的态度有关。佛教初传入中国时，其组织方式沿袭了印度的僧团制度，僧人只尊行僧团内部规定—犍度，组织脱离于世俗政权，自成体系，但很快就招致世俗统治者的不满而引发灭佛事件。从东晋开始，世俗统治者与僧团之间的主导权之争从没有停息过，直到唐玄宗开元年间，二者之争才以王法的胜利而终结。其结果是，从此宗教人士成了世俗世界的“另籍之民”，不仅要接受王法的管理，还要被王朝价值观予以改造。《百丈清规》就是中土佛教自我规定以适应中国政治现实的一种尝试。
对僧道的身份管理制度称为“度牒”，也就是身份证明文书。这项制度南北朝时就有，一直延续后世。元朝皇帝多崇佛，在法律上确定了喇嘛们的崇高地位，打喇嘛要砍手，骂喇嘛要拔舌。上行下效，普通僧人们也就乐得不守戒律，且因为当时僧籍管理不严，导致僧人数量一度超过两百万，其中鱼龙混杂，难免生出是非。而数量庞大的僧人又与民间宗教结合在一起，成为煽动民间起义的宣传工具。明太祖因为出家当过和尚，深切体会到宗教作为宣传、动员工具的威力，所以明太祖对宗教的管理颇费了一些心思，欲以“神道设教”，将僧道纳入儒家的等级制度。所以明太祖对寺庙和僧人的种类、财产、职责等做了详细的规定。
首先是用行政命令将天下寺院及僧人划为禅、讲、教三类。禅者，禅宗一类;讲者，重研修佛教义理的天台、华严诸类;教者，诵念真言密咒，演行瑜伽显密法事仪式之僧众也。三类僧人都要参加国家考试，合格后才能发放度牒。其中，演行瑜伽法事的教僧，考试不考经律义理，只考现场演行法事及经书背诵是否熟练准确，门槛并不高。
其次，明太祖又对寺庙做了一系列规定。寺庙必须有一名砧基道人，负责处理寺院的钱粮出纳、官府往来等俗务，禁止僧人奔走于外，与官府交结。除非游方问道，禅、讲僧是不许随便出寺的，不可散居及入市村，必须与日常社会保持距离。但教僧因为要做法事，是可以随意与世俗社会接触的，出入市镇集市也不会有任何麻烦。同时，虽然明太祖在《申明佛教榜册》明确规定了做法事所需各类物品的价格，和法事本身应收取的费用，但在现实中，这是无法监管的，实际收费可能远高于明初的规定。
在明朝，教僧这类专门做法事的“赴应僧”成了普通人接触佛教的主要窗口，他们与世俗接触紧密，因此一言一行都容易被世人看到，其中的劣行也就传播得比较广。教僧所在的教寺数量庞大：“全国的寺院数及三派的比率虽是不祥，而由现在的明代地方志书来看二三地方的比率则如下：湖州府，教寺三十七，讲寺六，禅寺二十四，所属宗派不明十七，总计八十四寺，所归并的寺院庵堂二百五十一寺;姑苏府，教寺七十一，讲寺二十三，禅寺三十一，所属宗派不明六，总计月百三十一寺，所归并寺院五百五十八寺。”(转引自谢重光、白文固《中国僧官制度史》)而明朝又有规定，僧数不满三十的寺要合并或撤除，由此可见教僧数量之巨。
这样一类僧人，不用精通经律义理，考试相对简单，又与世俗接触紧密，法事收入也不低，自然吸引了很多人，其中一些作奸犯科之辈就慢慢败坏了僧人的名声。而这种负面评价恰恰是官方所乐于看见的。
道士何以为“妖”
道教是中国本土宗教，早期道教的组织系统非常严密，分为24治，每一治像官府一样登记户口，并且要经过非常严格的入道仪式，遵守共同生活的伦理，这对政府的管理构成很大的挑战。在中国历史上，一旦宗教组织接近于行政组织，并且可以动员起来成为军事组织，就要遭灭顶之灾了。北方的“五斗米道”和“天师道”之所以在公元3世纪被视为奸佞而遭镇压，就是这个原因。当然，道教为官方敌视的另一个原因是“淫祀”，即祭拜官方未认可的神，这同样有犯上作乱的嫌疑。
“妖道”一词，据葛兆光先生考证，最早来源于葛洪的《抱朴子》。葛洪所处的时代正是五斗米道和天师道被镇压、道教由盛转衰的时期。因此，由儒入道的葛洪起了改革道教之心。在《抱朴子》中，葛洪自己就提出了哪些行为是“妖”：“第五公诛除妖道，而既寿且贵;宋庐江罢绝山祭，而福禄永终;文翁破水灵之庙，而身吉民安;魏武禁淫祀之俗，而洪庆来假，前事不忘将来之鉴也。”这里提到的东汉第五伦斩除淫祀鬼神的道士、九江太守宋均让祭祀山公的道士只许选取巫家子女作配、文翁捣毁溺毙百姓之女以祀的江水神庙、曹操禁绝“五斗米道”等事，都说明早期道士的“妖”，他们的行为近于巫家，倡导淫祀鬼神，扰乱了正常的社会、政治秩序。
自唐以后，历朝历代都有崇信道术的皇帝，其原因一是道士宣称精通长生之术，二是道士会其他法术，颇为神异。到了明朝，皇帝宠道之风犹烈，也因此诞生了一些匪夷所思之事，大处有嘉靖皇帝数十年不上朝，小处有用“红铅”等物炼丹的邪术，因此招来口诛笔伐，“妖道”的帽子就再也摘不掉了。
这是中央上层的情况，至于普通地方，因为要与皇权博弈、维护地方利益，地方行政机关及普通民众经常将不能解释的神异之事，以及诈骗、拐卖等罪名安在道士身上，以此免于深究之劳。而事实上，道士也往往有行骗行为，例如明朝《杜骗新书》中就记录有“僧道骗，炼丹骗，法术骗”这三种行骗手段。总之，在中华帝国晚期的世情小说中，僧道总是结伴出现，一副“同是天涯沦落人”的样子。由于上述种种原因，“淫僧妖道”就这样沉淀于中国人的内心深处，直到今天还不时会被现实印证。