早在李渊还在镇压农民起义军的时候，李世民就已看出隋朝的灭亡已不可挽回。他对父亲李渊说:“您受隋朝的命令讨伐贼寇，难道贼寇真的能被彻底消灭吗?”在促成父亲起兵时，李世民又说:“今日破家亡国在于您，化家为国也在于您”，可见李世民的雄才大略。
617年，李渊在李世民支持下在太原起兵反隋并很快占领长安。618年，隋炀帝被杀之后，李渊建立唐朝，并立世子李建成为太子。据说，太原起兵时李渊曾答应李世民在事成之后立他为太子。但天下平定后，李世民功名日盛，李渊却犹豫不决。秦王李世民扫平各路反王，功高盖世，受到太子李建成和齐王李元吉的嫉恨，李建成为了保住皇储的位置，联合齐王李元吉处处排挤李世民。李渊的优柔寡断，也使朝中政令相互冲突，加速了诸子的兵戎相见。
公元626年 (武德九年)，双方已成剑拔弩张之势。有一次，太子李建成晚上找李世民去喝酒，在酒里下了鸩毒，李世民心痛剧烈，吐了几升血，幸亏淮安王李神通将李世民送回秦王府才得救。李建成和李元吉并没有就此罢休，相反更加紧了行动。他先是企图拉走李世民身边的有生力量，用一大车金银器物笼络尉迟敬德，尉迟敬德婉言谢绝, “秦王对我有知遇之恩，在我最落魄的时候收留了我，又委以重任，我惟有杀身以报，不敢对他存有二心”, 李建成碰了个大钉子，对尉迟敬德恨之入骨。
太子与秦王的矛盾越演越烈，到了秦王主动提出到东都避祸的程度。突厥犯边，李渊让李元吉挂帅，尽调秦王府的强将精兵到李元吉帐下听令，箭在弦上，不得不发，而李世民还在犹豫。尉迟敬德万分焦急，与众人一起鼓动李世民先发制人, “人情畏死，众人以死奉王，此天授也。若天与不取，反受其咎”, 李世民还是想等对方先动手，以免落下骂名，尉迟敬德出言威逼，“如果秦王不听我们的意见，我们只有逃亡，不能陪殿下一起坐以待毙, 长孙无忌也会跟我一起离开”，同时告诉李世民，已经召集了八百勇士，全部控弦被甲，随时听候秦王调遣，到了这个地步，秦王李世民只能咬牙赌上了身家性命。
唐高祖武德九年 (公元626年) 阴历6月4日，玄武门兵变爆发了，准备入宫的李建成被李世民一箭射死，李元吉则逃进了一片树林，李世民纵马追了过去，战马跑得太快，李世民被巨大的树枝扫下了战马，摔到了地下，李元吉见机不可失，赶过来抢过了李世民的弓，用弓弦勒住了李世民的脖子，尉迟敬德及时出现，一声暴喝，吓得李元吉松开了双手，李元吉向宫中逃跑，尉迟敬德拍马赶上，将他一箭毙命。
李建成、李元吉手下的2000精兵发现不妙，已经为时已晚。 他们气势汹汹地攻打玄武门，杀害了屯营将军，尉迟敬德眼见情势危急，斩下李建成、李元吉的头颅，向正在交战的双方大声示意，东宫和齐王府的人马见主君已死，顿时丧失斗志, 作鸟兽散去，李世民马上派尉迟敬德进入皇宫，对唐高祖李渊进行逼宫，当盔甲鲜明、手持兵器的尉迟敬德来到高祖李渊面前时，李渊马上明白发生了什么事情， 诏立李世民为皇太子, 下令军国庶事无论大小悉听皇太子处置。不久，李世民即位，年号贞观。