我们还是先看看“蛮”字的来历，最开始这个字是由“丝”加“舌”构成，表示要系绑动物，加以训化。可见，这个词是有污蔑的意思的。
"南蛮"的称谓最早文字记载来自于周代的《礼记·王制》，东方曰“夷”，被发文身，有不火食者矣。南方曰“蛮”，雕题交趾，有不火食者矣。西方曰“戎”，被发衣皮，有不粒食者矣。北方曰“狄”，衣羽毛穴居，有不粒食者矣。
在周朝统治阶级的印象中，南方潮湿，野生动物比较多。但是，中原王朝有能力驯服他们，所以给他们配一个“蛮”字。先秦时期，蛮代指南方区域，主要是指南方区域的少数民族部落，这里的人，民风彪悍，非常善战。《史记，吴太伯世家》中曾经这样记载：“蛮者，闽也，南夷之名，蛮亦称越”。
春秋时，楚国境内已有不少以“蛮”自称的民族。在春秋前期，楚大举进攻蛮人，史称楚武王“大启群蛮”。楚庄王时，楚周边民族乘楚大饥之际，“戎伐其西南，又伐其东南，庸人率群蛮以叛楚，麇人率百濮聚于选，将伐楚”庸在今湖北竹山,且为群蛮之首,可能是蛮人建立的国家。在楚国的反攻下,庸人破灭,群蛮降楚,此后相当长时期不再见蛮的活动记录。
到战国初期,吴起相楚悼王,南并蛮﹑越,蛮人长期居住的洞庭地区不久也为楚攻占。到秦昭王时，白起攻灭楚国之后，“略取蛮夷﹐始置黔中郡”，又进一步进占了蛮人居住的湘鄂川黔地区。
原来，蛮还是代指南方的少数民族，但是后来逐渐有了污蔑的意思了，变成了骂人话。这是为什么呢?宋朝时，国内民族矛盾尖锐。统治阶级出于对“胡化”汉人的歧视，指其为“番”、“虏”，而燕云十六州的汉人则反击称宋朝汉人为南蛮。
到了南宋，由于军事实力始终不敌金国，统治范围被迫限于淮水秦岭以南地区，与金国长期军事对峙。华夏文明的主体与汉族的正朔位于女真人的南方，所以女真人将汉人称为南蛮。
后来的元朝成立后，延续金国的叫法，管南方的汉族人叫做南蛮。其中，污蔑的意味就很浓厚了。明清朝交替之际，清兵入关后对汉人开始了大屠杀， 各地颁发剃发令：“汉蛮子不剃发者以违制论斩。 ”
一个清兵，遇见近五十名青壮男子，清兵横刀一呼：“蛮子来!蛮子来!”这些人皆战战兢兢，无一敢动。这个时候，蛮子就代指了南方人，其中骂人的意味就很浓了。如今，如果谁说南方人是南蛮子，就是暗含不开 化，需要训 化，骂人的意味就很浓了。