李靖出生于官宦之家，隋将韩擒虎的外甥。祖父李崇义曾任殷州刺史，封永康公;父李诠仕隋，官至赵郡太守。李靖长得仪表魁伟，由于受家庭的熏陶，从小就有“文武才略”，又颇有进取之心，曾对父亲说：“大丈夫如果遇到圣明的君主和时代，应当建立功业求取富贵。”他的舅父韩擒虎是隋朝名将，每次与他谈论兵事，无不拍手称绝，并抚摩着他说：“可与之讨论孙、吴之术的人，只有你啊。” 李靖先任长安县功曹，后历任殿内直长、驾部员外郎。他的官职虽然卑微，但其才干却闻名于隋朝公卿之中，吏部尚书牛弘称赞他有“王佐之才”，隋朝大军事家、左仆射杨素也抚着坐床对他说：“你终当坐到这个位置!”
大业(605—617)末年，李靖任马邑郡(治今山西朔县东)丞，在李渊帐下和突厥作战。这时，反隋暴政的叛乱已风起云涌，河北窦建德，河南翟让、李密，江淮杜伏威、辅公祏等领导的三支主力军以摧枯拉朽之势，涤荡着隋朝的统治。身为隋朝太原留守的李渊也暗中招兵买马，伺机而动。李靖察觉了他的这一动机，于是李靖把自己伪装成囚徒，前往江都，准备向隋炀帝密告。但当到了京城长安时，关中已经大乱，因道路阻塞而未能成行。不久，李渊于太原起兵(参见李渊太原起兵)，并迅速攻占了长安(参见李渊攻取长安之战)，俘获了李靖。李靖满腹经纶，壮志未酬，在临刑将要被斩时，大声疾呼：“您兴起义兵，本是为了天下，除去暴乱，怎么不欲完成大事，而以私人恩怨斩杀壮士呢?”李渊欣赏他的言谈举动，李世民赞赏他的才识和胆气，因而获释。不久，被李世民召入幕府，用做三卫。