首先，李渊听从刘文静等人的建议，制定了“乘虚入关，号令天下”的战略。当时天下虽然群雄并起，但许多人并无大的志向，只图据地自保，或是瞻前顾后，犹豫不决。李渊的起兵战略，以入关夺取长安为军事目标，以开创帝业，最终取代隋为政治目标。在实现目标的过程中，又强调以“废皇帝(指隋炀帝)而立代王”为策略。
第二，募集兵士，扩充地盘。李渊起事后，让部下开仓赈济贫民，公开募兵。据《大唐创业起居注》记载，每天有千余人来投军，“二旬之间，得众数万”。
第三，北结突厥。隋末，东突厥汗国崛起，控弦之士40万人。北方豪强武装都以突厥为后援，向其称臣。李渊也深知以太原为根据地起兵南下，必须处理好与突厥的关系。否则突厥包抄后路，后果不堪设想。他在出任太原留守时，就曾对李世民说：“历山飞不破，突厥不和，无以经邦济时也。”李渊用空城计吓退突厥兵后，立即亲自写信给突厥始毕可汗，说：“我今大举义兵，欲宁天下，远迎主上(指隋炀帝)还，共突厥和亲。……若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”题封署称“启”，表示对始毕可汗非常恭敬。始毕可汗得书后大喜，但坚持要李渊称臣于突厥。李渊为免突厥包抄后路之患，只好答应。起兵南下之前，突厥送来战马千匹。南下至龙门时，突厥始毕可汗又派500人、2000匹马赶来助战。突厥人、马的补充，使李渊的骑兵力量大大增强。
第四，东和李密。李渊起事后，为使东面有30万人马、战将千员的李密起义军不致成为自己进兵关中的掣肘，令温大雅带着他的信去见李密，信中一面吹捧李密是当今天下大乱之际唯一能宁世安民的英雄，表示对李密的拥戴;一面剖白自己胸无大志，无意灭隋，从而使李密放松了对他的警惕防范。
六月初五日，李渊在晋阳设起义堂(亦称号令堂)，将军队分为三军，统称“义士”。裴寂等尊称李渊为“大将军”。十四日，李渊在晋阳建大将军府，以长子李建成为陇西公、左领军大都督，统率左军;以次子李世民为敦煌公、右领军大都督，统率右军;以四子李元吉为姑臧公，统率中军。以裴寂为大将军府长史，刘文静为司马，殷开山为掾，刘政会为属，长孙顺德、王长谐、刘弘基、窦琮为左右统军、副统军。并下令开仓放粮。