西晋末年，一场宗室之间自相残杀的“八王之乱”，使日益腐朽的司马氏政权江河日下，对国内匈奴五部的控制力也大大衰减。早就蠢蠢欲动的匈奴人刘渊借中原板荡之机，在西晋北部版图上独立门户，建汉称帝，攻城掠地，由此揭开了“五胡乱华”的序幕。
刘渊，生年不详，祖父为南匈奴单于於扶罗，父亲为匈奴左贤王刘豹，母亲为匈奴呼延氏，是个地地道道的匈奴人。史料记载，匈奴刘姓源于汉匈和亲。当年，匈奴强盛时，刘邦“以宗女为公主，以妻冒顿，约为兄弟，故其子孙遂冒姓刘氏”（《晋书》），刘渊的叔祖刘宣、父亲刘豹便是其中的代表人物，并取了汉名。承袭父祖，刘渊也跟着姓了刘。
刘渊生得体貌伟岸，姿仪不凡，深得时人崇重。由于他文武双全，语出惊人，司马昭对他另眼相看。西晋时，刘豹去世，刘渊代父之职，成为南匈奴左部帅，历任北部都尉、建威将军、五部大都督等职。期间，刘渊“明刑法，禁奸邪，轻财好施，推诚接物，五部俊杰无不至者”（《晋书》），幽冀一带的名儒，也不远千里纷纷前来拜见，个人威望与日俱升。
“八王之乱”爆发后，成都王司马颖执镇邺城，封刘渊为宁朔将军，监五部军事。当时，因为战乱，中原汉人大量流徙江南，并州境内的胡汉势力对比和人口分布发生了重大变化，匈奴贵族刘宣等人见司马氏骨肉相残，四海鼎沸，兴邦复业有机可乘，便秘密推举声名显赫的刘渊为大单于。刘渊得到消息后，历经周折，成功摆脱司马颖，蛟龙终归大海。
西晋永兴元年（304）十月，刘渊在左国城（今山西离石）建立政权，国号为汉，改元元熙。因晋氏犹在，四方未定，刘渊没有贸然称帝，而是效仿当年刘邦，权且称汉王，依照汉制设置百官。元熙五年（308），刘渊羽翼渐丰，便正式称帝。刘渊是匈奴人，一心想着兴邦复业，可他为何要称汉皇帝呢？笔者认为，这与刘渊的人生经历以及当时的社会形势有关。
刘渊自幼居于汉地，酷爱读书，痴迷汉文化，曾拜上党名士崔游为师，遍习中原的儒家经典和历史、军事著作，甚至可以“略皆诵之”，深受汉文化影响和熏陶。这一点，从刘渊七岁丧母时表现出“擗踊号叫，哀感旁邻”(《晋书》)的孝道礼仪上不难看出。在日后与太原名儒王昶、王浑、王济的密切交往中，刘渊逐渐成为一个汉化程度相当深的匈奴人。
崇尚汉文化，使刘渊倾心接受汉化；而刘渊在官场上受到的种种遭际和不公，也是逼使他主动向汉人、汉文化靠拢的一个重要因素。晋武帝时，王浑、王济等人举荐刘渊担当消灭孙吴的重任，却遭到了神鸣公主的无邪孔恂、杨珧等人的强烈反对，特别是谏辞中“非我族类，其心必异”（《晋书》）八个字，既刺痛了刘渊的自尊心，也反映了汉匈之间难以消除的民族隔阂。