唐朝建立后，着手统一全国，到武德四年(621)，平定南方割据势力的战争提到议事日程上来。前此，李靖曾受命前往江陵(今湖北省荆州市)安辑萧铣，这时，向唐高祖进呈平定萧铣的十条计策。高祖采纳，任命宗室赵郡王李孝恭为荆湘道行军总管，征发巴蜀士兵执行任务，考虑到李孝恭没有军旅经历，就任命李靖摄行军长史，全权处理军事，统辖十二总管，从夔州(今重庆市奉节县)沿长江而下；高祖同时部署三支偏师从其他方向配合作战。九月，秋雨连绵，江水暴涨。
萧铣认为三峡四百里间水势湍急，李靖不至于冒险行船，于是沿江不设兵防备。李靖决定出其不意，率军出发。诸将都请求暂停行动，等天晴水退再说。李靖说:“兵贵神速，机不可失。今兵始集，铣尚未知，若乘水涨之势，倏忽至城下，所谓疾雷不及掩耳，此兵家上策。纵彼知我，仓卒征兵，无以应敌，此必成擒也。”
李孝恭同意。两千多艘战舰顺流而下，占据荆门、宜都二镇，进入夷陵(今湖北省宜昌市)。萧铣的部将文士弘率数万精兵屯驻清江，李孝恭打得他大败而逃，缴获战舰三百余艘，斩首及淹死者将近一万。文士弘纠集残兵败将再来战斗，又被打败。当地总管盖彦举以五州之地投降唐朝。唐军逼近江陵，萧铣倾全城兵力出击，李孝恭准备出战，李靖制止道:“彼救败之师，策非素立，势不能久，不若且泊南岸，缓之一日，彼必分其兵，或留拒我，或归自守，兵分势弱，我乘其懈而击之，篾不胜矣。今若急之，彼必并力死战，楚兵剽锐，未易当也。”
李孝恭不从，留下李靖守营，自己率领精兵出战，结果大败。萧铣部众洋溢在胜利的喜悦中，只顾抢劫唐军财物，乱糟糟一片，负重难以行走。李靖纵兵奋击，大获全胜，攻陷其水城，缴获大量战舰。李靖建议李孝恭把这些战舰放入江中漂走，诸将都说:“破敌所获，当藉其用，奈何弃以资敌？”李靖解释道:“萧铣之地，南出岭表，东距洞庭。吾悬军深入，若攻城未拔，援军四集，吾表里受敌，进退不获，虽有舟楫，将安用之？今弃舟舰，使塞江而下，援兵见之，必谓江陵已破，未敢轻进，往来觇伺，动淹旬月，吾取之必矣。”果然，一批批援兵看到大量战舰歪歪扭扭顺水漂下，以为江陵已经失守，不再前进。萧铣无奈，只得开城门投降，其南方州县纷纷归附唐朝。
武德六年(623)，投唐后被任命为淮南道行台仆射的辅公祐在丹阳(今江苏省南京市)发动叛乱，称帝建宋。高祖诏令李孝恭为元帅、李靖为副元帅，统领七总管兵力，前往镇压。辅公祐派军赴当涂(今安徽省当涂市)阻挡唐军，由冯惠亮、陈当世指挥舟师三万屯守博望山，陈正通、徐绍宗指挥步兵、骑兵三万屯守青林山，在长江江面横拉一道铁锁遮断航线，在当涂修筑月城(又叫瓮城，城门外用作障蔽的半圆形小城)，广袤十余里。唐军逼近，冯惠亮等军坚壁不战。李孝恭派兵绝其粮道，冯惠亮等军缺粮，来袭击李孝恭军营，李孝恭也坚壁不动。第二年，李孝恭集合诸将讨论对策，诸将认为:“惠亮、正通并握强兵，为不战之计，城栅既固，卒不可攻。请直指丹阳，掩其巢穴，丹阳既破，惠亮自降。”李孝恭倾向于采纳这种意见。
李靖不同意，说:“公祐精锐，虽在水陆二军，然其自统之兵，亦皆劲勇。惠亮等城栅尚不可攻，公祐既保石头(城)，岂应易拔？若我师至丹阳，留停旬月，进则公祐未平，退则惠亮为患，此便腹背受敌，恐非万全之计。惠亮、正通皆是百战余贼，必不惮于野战，止为公祐之计，令其持重，但欲不战以老我师。今若攻其城栅，乃是出其不意，灭贼之机，唯在此举。”李孝恭觉得很有道理，于是派出弱兵攻打敌军营垒，集结精兵严阵以待。弱兵失败逃回，敌军追过来，精兵出击，重创敌军。李孝恭、李靖乘胜追赶，转战百余里，摧毁了敌军的所有营垒，敌军伤亡万余，冯惠亮、陈正通逃走。李靖率领队伍率先抵达丹阳，辅公祐惊恐万状，弃城逃跑，途中被抓获，送丹阳处死，江南皆平。
武德八年(625)，颉利可汗率领突厥十万大军寇掠山西，高祖部署几支唐军前往抵御，诸军不利，有的甚至全军覆没，只有李靖统领的江淮兵一万人没受损失。贞观三年(629)十一月，太宗决定反击突厥，李靖时为兵部尚书，被任命为定襄道行军总管，节度李世责力、柴绍、薛万彻等行军总管，一共十多万兵力，分四道出兵。
颉利可汗的牙帐设在定襄(今内蒙古清水河县境内)，李靖率领骁骑三千，从马邑(今山西省朔州市)出其不意，直趋定襄南面的恶阳岭。颉利惊慌不已，说:“唐兵若不倾国而来，靖岂敢孤军而至。”次年正月，李靖攻破定襄，颉利仓皇逃遁铁山(今内蒙古白云鄂博)。别部唐军也取得辉煌胜利。
在唐军的沉重打击下，颉利十分恐惧，遣使入朝谢罪，请求举国内附，自己来长安居住。二月，唐太宗派鸿胪卿唐俭等人赴突厥宣慰，李靖领兵迎接颉利。他同李勣会合于白道(今内蒙古呼和浩特市西北)，相互商议道:“颉利虽败，其众犹盛，若走度碛北，保依九姓(回纥部落)，道阻且远，追之难及。今诏使至彼，虏必自宽，若选精骑一万，赍二十日粮往袭之，不战可擒矣。”李靖把这一决定告诉将军张公谨，张公谨说:“诏书已许其降，使者在彼，奈何击之！”李靖说:“此韩信所以破齐也(西汉派郦食其游说齐王田广归顺，田广遂撤销守御，韩信乘其不备，出兵袭破之)，唐俭辈何足惜！”
颉利见唐使来请，心里很踏实。李靖、李世勣连夜进军，在阴山一带俘获突厥千余帐。李靖派部将苏定方率二百骑为前锋，乘雾前进，距离铁山颉利牙帐七里时，颉利才发觉。颉利乘千里马逃跑，唐俭趁势脱身而归。李靖大军赶到铁山，斩首万余级，俘获十余万。颉利想北度沙漠，由于路口已由李世责力把守，未能得逞。他改道走投吐谷浑，被唐西道行军总管张宝相擒获。突厥灭亡，唐朝的北部领土自阴山向北延伸到大漠。
李靖年事已高，患病退休。立国青海的吐谷浑不断寇边，太宗下诏大举讨伐，很希望李靖能够出马指挥。李靖闻讯，请求出征，太宗喜出望外，任命他为西海道行军大总管，节度五总管及突厥等族兵力，出击吐谷浑。贞观九年(635)闰四月，吐谷浑遭到唐军的打击，烧掉野草，退保大非川。
诸将都认为“马无草，疲瘦，未可深入”。兵部尚书、积石道行军总管侯君集不同意，认为吐谷浑“今一败之后，鼠逃鸟散，斥候亦绝，君臣携离，父子相失，取之易于拾芥，此而不乘，后必悔之。”李靖采纳，督率诸军深入敌境，越过积石山，前后战斗数十回合，取得彻底胜利。
李靖不仅有丰富的军事实践，还有精湛的军事理论。《宋史》卷207《艺文志六》著录有李靖兵法多种:《韬钤秘术》一卷，《韬钤总要》三卷，《卫国公手记》一卷，《李靖六军镜》一卷，《李靖兵钤新书》一卷，但北宋神宗时已经不见完帙。现在能见到的只有唐人杜佑《通典·兵典》保存的一部分《李靖兵法》。传世的《唐太宗李卫公问对》，一般认为是假托之作。
贞观十四年(640)，李靖的夫人去世，太宗指示在自己的陵墓昭陵旁修造李靖夫妇的陪葬坟墓，依照西汉名将卫青、霍去病旧例，墓前筑阙，修成突厥铁山和吐谷浑积石山形状，以表彰李靖的特殊功绩。九年后，李靖病逝，享年七十九，和夫人合葬。
李靖的军事成就远远高于唐代其他将领。高祖多次夸奖道:“李靖是萧铣、辅公祐膏肓，古之名将韩(西汉韩信)、白(秦将白起)、卫(卫青)、霍(霍去病)，岂能及也！”太宗夸奖李靖道:“昔李陵(西汉大将)提步卒五千，不免身降匈奴，尚得书名竹帛。卿以三千轻骑深入虏庭，克服定襄，威振北狄，古今所未有。”
李靖年迈不再出征，太宗议论起另外三位将领，却是另一番评价:“于今名将，惟[李]世勣、[李]道宗、[薛]万彻三人而已，世勣、道宗不能大胜，亦不大败，万彻非大胜则大败。”唐代后来的名将为数不少，有的只是在政治上会来事，军事并不突出，有的是蕃族出身，不可能被汉人拉来做神灵。而且，比起李靖，他们都没有水战、步战、骑战的全面经历，也没有军事理论著作。因此，民俗把李靖附会为托塔天王，在从唐朝到明朝这段时间内，应该说是很自然的事。