公元604年(隋文帝仁寿四年)，杨广弑父杀兄登基执政后，又穷兵黩武征伐高丽，并大兴土木，修宫殿，凿运河，修驰道，把社会经济推向绝境。史称“黄河之北，则千里无烟;江淮之间，则掬为茂草”。广大人民“百姓困穷，财力俱竭，安居则不胜冻馁，死期交急，剽掠则犹得延生，于是始相聚为群盗”，最终演变为全国各地风起云涌的农民起义。
在山西，公元615年～617年(大业十一年至大业十三年)之间，农民起义达到高潮，先后有六七支起义队伍转战各地。在山西南部，有毋端儿起义军，众至数千人，曾进攻龙门县(今山西河津市);有敬盘陀领导的绛郡(治今山西新绛县)起义军，众至数万人。在山西中部，有甄翟儿领导的“历山飞”起义军，多次进攻太原。在此形势下，公元615年(大业十一年)，隋炀帝任命李渊为山西、河东慰抚大使，命其剿灭活跃在今山西地区的起义军。
李渊(566年～635年)，字叔德，自称陇西狄道(今甘肃临洮县)人。祖父李虎，西魏时官至太尉。父李昞，北周时历官御史大夫、安州总管、柱国大将军，隋时封为唐国公。李渊7岁袭封唐国公。入隋以后，因其姨母是隋文帝的独孤皇后，深受重用，曾任淮、陇、岐三州刺史，荥阳(今河南郑州市)、楼烦(今山西静乐县)二郡太守。后被召为殿内少监，迁卫尉少卿。隋炀帝即位后，因社会上流传着“李氏当为天子”的谶谣，对李姓高官多所猜忌，但李渊通过“纵酒沉湎，纳贿以混其迹”，表示自己胸无大志，免遭厄运。
李渊到河东后，先后击败了甄翟儿、毋端儿、敬盘陀等人领导的起义军，得到隋炀帝赏识。公元616年(大业十二年)初，李渊被任命为太原道安抚大使，并拥有黜陟选补郡文武官、征发河东兵马的特权。七月，隋炀帝南下江都(今江苏扬州市)前，任命李渊为太原留守，另派王威、高君雅为副留守，让他们监视李渊。
此时，全国的政治格局已发生大的变化，农民起义军已基本摧毁了隋王朝的统治力量，隋朝的官僚地主也纷纷打起反隋的旗帜割据一方。太原乃“天下精兵处”，隋自建国以来，对晋阳城军需物资的储备一直十分重视，经多年的积蓄，城中已是“府库盈积”，“太原粮饷可支十年”。所以，李渊被任命为太原留守后，“私窃甚喜”，他对次子李世民说：“唐固吾国，太原即其地焉。今我来斯，是为天与，与而不取，祸将斯及。”在镇压农民起义的过程中，李渊招降纳叛，不断扩充自己的实力。李渊父子还广结豪杰之士，网罗各种人才。史称李渊“素怀济世之略，有经纶天下之心。
接待人伦，不限贵贱，一面相遇，十数年不忘”。李世民在晋阳“密招豪友，一技可称，一艺可取，与之抗礼，未尝云倦”，“倾财赈施，卑身下士”。晋阳令刘文静、晋阳宫监裴寂皆为李世民的密友，也是李渊父子晋阳起兵的主要谋士。李渊长子李建成也在河东暗中交结英俊，发展势力。
正当李渊及其子李世民、李建成“与晋阳令刘文静谋举大事”时，公元617年(大业十三年)二月，李渊治下驻马邑(今山西朔州市)的鹰扬府校尉刘武周发动兵变，杀死马邑太守王仁恭，据马邑而自称天子，国号定杨。三月，刘武周攻破楼烦郡，进占汾阳宫，并与突厥勾结，图谋南下争夺天下。炀帝闻讯后大怒，要提李渊到江都治罪。在此危急情势下，李渊对李世民说：“事急矣，可举事。”其周围的心腹裴寂、许世绪、武士眜等也纷纷劝李渊起兵，李渊终于下定了反隋的决心。于是，李渊借口防备刘武周和突厥南下，派李世民、刘文静、长孙顺德、刘弘基等人到各地募兵，旬日之内募集到数千人。随后，李渊派人往河东召回其子李建成和李元吉。
太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊“有异志”，便密谋骗李渊父子到晋祠祈雨，除掉李氏，向隋炀帝邀功请赏。不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。五月十五日，李渊、李世民先发制人，指使开阳府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。
五月十七日，恰巧数万突厥军队进攻晋阳，李渊立刻名正言顺地命人将两人推出斩首。同时，李渊又设下空城计，“开诸城门”，吓退了突厥的军队。接着，李渊开始作起兵反隋的准备工作。