公元604年，隋炀帝杨广登基后，穷兵黩武，大兴土木，开凿运河，人们怨声载道，最终演变为全国各地风起云涌的农民起义。公元615年，隋炀帝杨广命表弟李渊为太原留守，北边防备突厥，境内镇压农民起义。
李渊和隋炀帝杨广还有一层关系极为特殊，他们是姨兄弟，李渊的母亲和杨广的母亲是亲姐妹，所以李渊是隋朝的重臣。隋朝眼看要灭亡，李渊要么做杨广的忠臣和隋朝一起灭亡，要么抛弃隋朝，在风起云涌的起义中分一杯羹，他选择了后者。正当李渊、李世民密谋起兵时，李渊属下的一个校尉叫刘武周的，发动兵变，杀死马邑太守，自称天子，国号定杨。这可不得了，按连带责任李渊不杀头也要下狱的。此危急情势下，李渊对李世民说：“事急矣，可举事。”
六月，正式起兵。李渊自为大将军，以大儿子李建成、次子李世民分别为左、右大都督，以四子李元吉留守太原，兵发长安。十一月，攻克长安。立隋炀帝的孙子代王杨侑为皇帝，尊隋炀帝为太上皇，李渊自为大丞相、唐王。这时隋炀帝还在孤岛扬州困着，眼睁睁看着李渊起兵，无能为力。短短四个月，李渊父子就以太原的兵力，攻入长安。他们采取了什么策略，进军这么神速呢?
一是李世民设局“逼”李渊造反。当时，隋政权已呈土崩瓦解之势。李渊也动过逐鹿中原的念头，但考虑到跟隋朝皇室的关系和造反的风险，迟迟拿不定起兵的主意。于是，李世民派裴寂趁着李渊醉酒的机会，偷偷地将皇帝行宫里的几位美女送入他的寝室中，陪他过夜。李渊酒醒后发现身边有皇宫美女，大惊之余差点没吓死。这可是给皇帝戴帽子，杀头大罪啊，没办法无奈地答应了李世民起兵。
二是东结突厥。桃色事件后，李渊为避免突厥包抄后路，立即亲自写信给突厥始毕可汗称臣，并说明起兵的好处。起兵南下之前，突厥送来战马千匹。南下至龙门时，突厥始毕可汗又派500人、2000匹马赶来助战。突厥人、马的补充，使李渊的骑兵力量大大增强。
三是东和李密。李渊起事后，东面还有30万人马、战将千员的李密起义军，为不致成为自己的掣肘，李渊也给李密写了一封信，信中一面吹捧李密，表示对李密的拥戴;一面表示自己胸无大志，无意灭隋，从而使李密放松了对他的警惕防范。
四是乘虚而入。当时，隋炀帝远在江都(今江苏扬州)，关内隋军力量薄弱;中原瓦岗军与王世充激战方酣，均无暇西顾。因此李氏父子进军神速，十一月间攻入长安。次年三月，隋炀帝在江都被宇文化及所杀，五月，李渊废黜杨侑，自己称帝，改国号唐，隋朝灭亡，唐朝建立。
晋阳起兵是李唐王朝推翻隋朝的第一步，也是极为关键的一步。由于李世民修改了史书，所以后世史学界对于晋阳起兵的细节一直有争议。到底谁参加了晋阳起兵的密谋呢，公认的看法是四个人，重要程度排名如下：李渊、裴寂、刘文静、李世民。当时大儿子李建成在河东暗自广结英豪，招兵买马。