唐乾宁元年，李存璋从李克用讨伐幽州节度使李匡俦，改义儿军使，光化二年(899年)授泽州刺史。天复二年，云州都将王晖杀云州刺史，李克用遣李嗣昭讨之，李存璋随同前往。事后，李存璋改任教练使，检校司空。后梁开平二年，李克用军攻击围困潞州的梁军时，李存璋率丁夫烧寨、破梁军夹营，开出两条通路，因功转任检校司徒。后梁乾化四年，李存璋迁汾州刺史，战败攻打慈州的后梁大将尹皓。
后梁贞明二年(916年)，后梁太祖趁晋阳空虚，遣大将王檀率兵 5万，自阴地关奇袭晋阳。李存璋闻讯率汾州兵驰援，入城固守，因功迁大同防御使、应(今山西应县)、蔚(今河北蔚县)、朔(今山西朔州)等州知兵马使。本年秋，契丹攻蔚州契丹主耶律阿保机遣使求索钱物，李存璋斩其来使。契丹兵逼云州，李存璋固守不退。武器不够，李存璋就把城中的古铁车熔铸为兵器，分给军士。契丹兵退后，李存璋因抵抗有功，加检校太傅，任大同军节度使，应蔚等州观察使。
李存璋不仅长于征战，而且善于辅政。李克用临死前，托嘱宦官张承业与李存璋辅佐其子李存勖。李存璋不负先主厚望，尽心辅政。他先协助李存勖整饬军纪。因李克用部下多为边地部民，恃功自傲，难以约束，再加之李克用为笼络军心，一贯姑息纵容，以至“蕃邦人多干扰廛市，肆其豪夺，法司不能禁”。李存璋时任河东马步都虞侯兼军城使，他抑强扶弱，严明法纪，“执其尤暴横者戮之，旬月间城中肃然。”他“弭群盗，务耕稼，去奸宄、息幸门，当时称其才干。”同时，他献计献策，消除内患。李克用之弟李克宁倚重权势，阴谋废李存勖自立，以河东之地降梁。事情泄露后.李存璋与张承业等支持李存勖，捕杀李克宁及其党羽。后梁龙德二年(922年)，李存璋病死干云州任上。后唐建立后，庄宗李存勖不忘李存璋辅弼征战之功，追赠太保，平章事。后晋高祖天福初(936年)，追赠太师。