西晋初年，中国北部、东部和西部，尤其是并州和关中一带，居住着许多处于不同社会发展阶段的少数民族，「西北诸郡皆为戎居」，关中百万余口，「戎狄居半」。在汉族的影响下，这些内迁的外族逐渐由游牧转向农业定居，胡汉文化相互影响渗透。但在交融的同时，胡汉亦存在一定的矛盾，例如并州的匈奴人成了汉人的奴婢，而不少汉人也相继沦为胡人奴婢。这些奴婢常常被迫服役，当军作战，更有甚者被地方官员押往他乡出卖，因而激起了境内各民族的反抗;而各族上层人物亦往往利用本族人民，实行割据。连续不断的胡族内迁引起胡汉双方的矛盾，严重动摇了西晋政权的统治根基，大规模的暴动有一触即发之势。
当时西晋一些官僚也察觉到形势的严重性，于是便有以郭钦、江统为代表，提出「徙戎」的主张。他们建议用武力将内迁的胡族强制徙迁回原住地，并以「内诸夏而外夷狄」的办法隔绝胡汉接触，来防止胡人的反抗。但由于各族内迁及胡汉杂居是历史发展的结果，因而徙戎的主张无法实施。
而此时的西晋王朝却祸起萧墙。在统治集团内部，西晋诸王为争夺中央最高权力，发生了一连串的相互残杀和战争，历时16年之久，史称“八王之乱”。这场大恶斗给人民带来了无穷的灾难。生产遭到破坏，数十万人民丧失了生命，许多城市被洗劫和焚毁。不少人饥饿而死。人民又重新陷于苦难的深渊，掀起了大规模的流亡的浪潮。尤其是诸王利用少数民族的贵族参加这场混战，造成了严重的后果。而晋室内部腐败至极，地方防务不修，连年天灾人祸，西晋王朝摇摇欲坠，遇上强悍的胡人遂一推即倒。
永兴元年(304年)，匈奴贵族刘渊在左国城(今山西离石)起兵反晋，逐步控制并州部分地区，自称汉王。光熙元年(306年)，晋惠帝死，司马炽嗣位，是为怀帝，改元永嘉。刘渊遣石勒等大举南侵，屡破晋军，势力日益强大。刘渊，字元海，新兴县匈奴人，冒顿之后，曹魏时改姓刘，祖父为南匈奴单于，父刘豹为匈奴左部帅。西晋太康末刘渊为北部都尉，后为建威将军，五部大都督，受晋封为汉光乡侯。起兵反晋后自称汉王，永嘉二年(308年)正式称帝。刘渊死后，其子刘聪继位。次年，刘聪遣石勒、王弥、刘曜等率军攻晋，在平城(今河南鹿邑西南)歼灭十万晋军，又杀太尉王衍及诸王公。永嘉五年(公元311年)，匈奴兵攻陷西晋京师洛阳，俘虏了晋怀帝。纵兵烧掠，杀王公士民三万余人。史称「永嘉之乱」。