“人妖”一词最早见于战国时期著名思想家荀况所著的《荀子·天论》一书：“政令不明，举错不时，本事不理，夫是之谓人袄(妖)。”可见“人妖”一词的原意是指人事上的反常现象。后来人们才将那些女扮男妆、男扮女妆，生理和心里上都发生了严重变态的人叫做“人妖”或者“妖人”。
女扮男妆的“人妖”见于《南史·崔慧景传》。南朝齐朝时，东阳(今安徽天长西北)女子娄逞聪慧过人，才华出众。她不甘心一辈子围着锅台转，遂“变服诈为丈夫”，走出家门，遍游公卿。由于她知识渊博，精通围棋，为人圆滑，有极高的处事能力，颇受公卿们的欢迎，官至扬州“议曹从事”。然而，俗话说得好，纸里包不住火。时间久了，娄逞的女儿身终于被人发现。齐明帝萧鸾知道后下令罢免了娄逞的官职，让她返回老家东阳，娄逞这才极不情愿地被迫“始作妇人服而去”。《南史》的作者认为娄逞“此人妖也”，而娄逞则认为为自己满腹经纶，就这样“还为老妪，岂不惜哉。”
男扮女妆的人妖在历史上也屡见不鲜，如《明史》记载，明朝嘉靖年间有个女扮男妆、名叫桑羽中的“妖人”。男扮女妆的人妖中最典型的当属清朝的洪某。据清朝乾隆进士、著名诗人袁枚的《新齐谐》记载，清朝乾隆年间，贵州贵阳有一个姓洪的美男子，5岁时因父母双亡，被邻居一姓付的寡妇收养。付寡妇见洪某长相非常漂亮，是个难得的美少年，心中顿生邪念。为了掩人耳目，她对外谎称洪某是个“女孩儿”。为此，她刻意将洪某打扮成女孩儿的模样，给洪某留下又黑又长的辫子，并给他缠足，教他学会了刺绣、做针线活等女孩儿必须掌握的基本技能。
洪某长到十二三岁时，付寡妇即开始让洪某供其淫乐。洪某17岁那一年，付寡妇因病死亡。按说此时的洪某终于摆脱了恶魔付寡妇，可以恢复男儿装，开始独立生活。可惜他虽然是个17岁的大小伙子，但却像个女人。不说别的，就凭他那双三寸金莲能干得了什么？再说，他除了会刺绣等女孩儿家干的活以外什么也干不了。因此，没有了生活依靠的洪某只好外出“教女子刺绣，行其技于楚、黔两省”。非常有趣的是，洪某在湖北时，江夏(今武汉武昌)一姓杜的男子见洪某天生丽质，婀娜多姿，竟然对洪某一见钟情，欲娶洪某为妻。洪某有口难辩，只好屈从。洞房花烛之夜，杜某方知洪某是个男儿身。恼羞成怒的杜某一气之下将洪某告到了官府。
因为这个案件非常特殊，主管法律的提刑按察使亲自查验洪某的性别，结果发现洪某“其声妖细，颈无喉结，发垂委地，肌肤玉映，腰围仅一尺三寸”。洪某的男儿身确定后，在如何为洪某定罪时，因为清朝的法律对此并无明确的规定，按察使和巡抚发生了意见分歧。巡抚认为洪某男扮女妆，妖言惑众，应该判他“流放”。而按察使却坚持认为洪某是个“妖人”，必须处以极刑。洪某对按察使判自己为死罪坚决不服，他认为：“我罪止和奸，蓄发诱人，亦不过刁奸，与律无死罪。”因此，行刑这一天，洪某指着刑场上的断头台当众诅咒说：“3年以后，判我死罪的人必然也要死在这里。”说来也巧，3年后，这位按察使果然因犯罪被诛杀在那里。