七月初四日，李渊在晋阳宫城东的乾阳门街军门前竖白旗誓师，并任命四子李元吉为镇北将军、太原郡守，让其留守晋阳。李渊在誓文中历数了隋炀帝杨广的种种罪恶，宣布要“兴甲晋阳，奉尊代邸，扫定咸洛，集宁寓县”。初五日，李渊亲率长子李建成、次子李世民及义师甲士3万自太原挥兵南下，直指关中。
七月，李渊与长子建成、次子世民挥师南下，先后破霍邑(今山西霍县)、渡黄河，向西南挺进。当时，隋炀帝远在江都(今江苏扬州)，关内隋军力量薄弱;中原瓦岗军与王世充激战方酣，均无暇西顾。因此李氏父子进军神速，十一月间攻入长安。李渊进入长安不久，就宣布遥尊隋炀帝为太上皇，拥立炀帝孙代王杨侑为帝，改元义宁，是为隋恭帝。恭帝进封李渊为唐王，以李建成为唐王世子;李世民为京兆尹，改封秦国公;封李元吉为齐国公。公元618年(义宁二年)李世民徙封赵国公。公元618年3月，隋炀帝在江都被部将杀死。
五月，李渊即位，国号唐，建元武德，定都长安，是为唐高祖。李渊以李世民为尚书令。不久，又立李建成为皇太子，封李世民为秦王，李元吉为齐王。
公元617年(大业十三年)十一月初九日，李渊率军攻陷长安，立隋炀帝之孙杨侑为帝，是为隋恭帝。隋恭帝任命李渊为大都督内外诸军事、大丞相、录尚书事，进封唐王。
第二年五月，隋恭帝被迫禅位于李渊，李渊即皇帝位于长安，建立唐朝，是为唐高祖。