公元617年，李渊和他的儿子李世民在晋阳起兵，从此之后这支起义军就像一支利箭，直插隋朝的心脏，在根据史料记载，晋阳起兵的主导者是李世民，但是在当时只有十八岁的李世民并没有传说中的那么英明神武，最主要的行动策划者还是李渊，在起兵之前他因为犯罪被杨广下狱，在给李世民的书信中说道：“如果我在这边有什么不测，你们兄弟三人立刻起兵，不要被世人耻笑。”由此可见李渊早就已经下定了起兵的决心。
在后来因为战事吃紧李渊被释放，于是命令李世民在晋阳招募豪杰，而李建成和李元吉则是在河东搞好关系，这两个都是李渊起兵的中坚力量，但是这个时候想要起兵的话，李渊的兵实在是太少了，隋朝的制度是不允许随便招兵的，要是没有朝廷的同意，招兵超过一千人就是死罪，立刻被杀头。杨广这个时候已经准备起兵，还怕杀头吗?但是在此之前，他必须要先解决杨广留下来的两颗棋子。
想要起兵造反，第一个问题那肯定就是要有兵，但是想要征兵，那就必须要有充足的理由，而杨广的两颗棋子王威和高雅君都是对隋朝忠心耿耿的人，拉他们入伙是不可能的，把他们杀掉反而更有可能，但是现在还需要他们两个帮忙征兵，要怎么得到他们两个的支持呢?李渊一直在等待机会。
大业十三年，刘武周半边，杀害了自己的长官王仁恭，自立为天子，而他所在的地方就是距离太原很近的马邑，这对于隋朝来说可能不是什么好事，但是队员杨广来说，这是天赐良机。于是他借机对王威和高雅君说：“刘武周虽然不足为虑，但是现在居然胆敢称皇帝，如果让他在汾阳立稳了脚跟，这就是灭族之罪啊。”这两个人也觉得问题很大，于是下定决心要李渊征兵讨伐刘武周。
但是李渊却不急，因为这两个人还还不够既，他深知敌之要点即我之要点，你越急，我就可以越稳，他说道：“现在还不急，我们应该以静制动，不要扰乱军心。”然而到了三月，刘武周真的攻破了汾阳，而且联合东突厥，下一步刘武周很有可能要进攻太原，这个时候王威和高雅君已经急得像热锅上的蚂蚁了，但是李渊依旧不急，他让太原的士兵开仓济民，而且还要加固城池的防守，好像要在这里长住了。但是王威和高雅君按耐不住了，说道：“现在太原的老百姓的姓名全都在您的手上了，要是您还不征兵，谁能担此大任?”
李渊知道现在机会到了，他心里非常高兴，因为王威和高雅君比自己更着急，只等着他一声令下数万大军便能立刻集结，但是他还是面露难色说道：“朝廷的制度是外出打仗的将领一举一动都需要向皇帝报告，但是现在皇帝在三千里之外的江都，这可怎么办啊?”王威两人赶紧说道：“明公文韬武略，天下谁人不知，现在正是誓死报国的时候，如果遇到这样的额事情还要禀报的话那国家怎么办?请明公便宜行事就好”这个时候李渊顺水推舟说道：“大家都是包小朝廷，不要互相猜忌才是。”二人连连称是，直到现在，李渊才真正有了一个征兵的理由。
命令一下便迅速征集了三万大军，这支队伍就是李渊接下来的主力部队，命令他们全部赶往兴国寺驻扎，另外命令李建成和李元吉还有自己的女婿柴烧迅速赶到太原，你爹要干大事了，现在兵也有了，将是自带的，接下来就是高想着怎么干掉王威和高雅君了。然而这两个人也不是笨蛋，李渊的举动已经让他们怀疑了，因为李渊把军队交给了三个人管理。
这三个人就是：李世民、长孙顺德和刘弘基。交给李世民无可厚非，毕竟是他的儿子，但是后面两个人是朝廷的囚犯，怎么能把军队交给他们呢?瞎子也知道李渊到底是想干什么，他们打算先下手干掉长孙顺德和刘弘基，但是却被武士彟(武则天的父亲)阻止，他说道：“这两个都是李渊的座上宾，要是他们有什么事情恐怕会出事啊。”两人想想也有道理，但是这个不是你死就是我亡的时候，道理是不管用的。
李渊可管不了那么多，造了一个罪名说王威和高雅君想要联合突厥进攻隋朝，也不管别人的反应便把这两人下狱了，至此准备工作全部就绪。由此可见晋阳起兵，从兵源问题到政治问题，都是李渊一手抓的，并不是像史书中说的那样，全靠李世民。