东汉初年，匈奴比较强盛，刘秀无力与匈奴战，建武二十四年(48)，匈奴内部为争王位发生动乱，匈奴贵族相互殘杀，呼韩邪单于率领部众归附东汉王朝，从此匈奴分为南匈奴和北匈奴。东汉政府设立匈奴中郎将进行监护，并每年给归附的南匈奴一定的粮食、丝帛等物资，南单于则协助东汉政府共同抵御北匈奴的侵扰，这在很大程度上促进了民族间的融合。
南匈奴归属汉朝后，北边诸郡都布满了南匈奴人及北匈奴的新附之众。此后匈奴人不断内迁至凉州以东并州以西，后来集中到并州中部的汾水流域一带。
和平、安定的环境有利于南匈奴社会生产的发展。同时，南匈奴人从入塞开始，不仅分布沿边诸郡，而且与汉族人错居。
这种胡汉错居的方式，带来了文化上的融合，对于匈奴人由以生产组织和军事组织相结合的畜牧业经济转向农业经济提供了便利。
公元187年，南匈奴发生内讧，此时正值黄巾军起义，董卓“挟天子以令诸侯”，各地封建割据势力并起，汉朝无暇顾及匈奴。于是，南匈奴一部参加了农民军的打土豪活动，主要活动区域在今河南省黄河以北、山西省南部地区。公元195年，南匈奴参与了中原封建军阀的混战，沿黄河而下，东汉大学者蔡邕之女蔡文姬就是这一时期被掳掠去匈奴的。此时，南匈奴已经占据黄河流域诸多郡县。
公元202年，南匈奴首领归附曹操。曹操为了北方的稳定，先后将南匈奴分为五部(注2)每部择立贵族为帅，另选汉人为司马对其进行监督。同时，曹操还把并州的中下层匈奴人编入汉族。这样，南匈奴上下完全编入曹魏政权，中国北方完成了实际的统一。
但该措施让匈奴的很多下层人民沦为奴隶，因此魏晋时期，黄河流域出现了很多地区贩卖匈奴人和其他杂胡为奴隶的事。以至“五胡十六国”时期，匈奴后裔刘渊利用这些下层奴隶的反抗情绪，建立了“后汉政权”。但在西晋时期，各族人民往往打破民族的界限联合起来，共同反抗各族统治阶级的压迫和剥削。