李吉甫年轻时勤奋好学，善写文章，以门荫补任左司御率府仓曹参军，二十七岁便担任太常博士。他学识渊博，尤精国朝典故，历任屯田员外郎、驾部员外郎，受到宰相李泌、窦参的器重。贞元八年(792年)，李吉甫被外放为明州(治今浙江鄞州)长史，后起复为忠州(治今重庆忠县)刺史，历任柳州(治今广西柳州)刺史、饶州(治今江西鄱阳)刺史。
贞元二十一年(805年)，唐宪宗继位，征召李吉甫回朝，授为考功郎中、知制诰。他返回朝廷后，又被召入翰林院，担任翰林学士，并改任中书舍人，获赐紫衣。元和元年(806年)，西川节度副使刘辟叛乱。朝臣都认为蜀地险要，易守难攻，不主张出兵讨伐。宰相杜黄裳却极力主战，还推荐神策军使高崇文为伐蜀主帅，李吉甫也赞同出兵。唐宪宗便命高崇文与山南西道节度使严砺入川平叛。高崇文久攻不破鹿头关(在今四川德阳)，李吉甫奏道：“汉晋南朝五次伐蜀，四次都是沿江而上。江淮地区的宣州(治今安徽宣城)、洪州(治今江西南昌)、蕲州(治今湖北蕲春)、鄂州(治今湖北鄂州)，强弓劲弩，号称天下精兵。陛下可让江淮军直捣三峡腹心，叛军必会分散兵力，前去救援。而且高崇文担心江淮军率先建功，也会增强斗志。”西川平定后，李吉甫又建议让高崇文、严砺分别节度西川(治今四川成都)、东川(治今四川三台)，使两川相互制衡。
元和二年(807年)，杜黄裳罢相，李吉甫则被任命为中书侍郎、同中书门下平章事。他外放江淮十余年，深知百姓疾苦，拜相之后鉴于藩镇节度使贪婪恣肆，便奏请皇帝，让节度使属下各郡刺史独自为政。李吉甫还建议，应禁止州刺史擅自谒见本道节度使，禁止节度使以岁末巡检为名向管内州县苛敛赋役。唐宪宗对他愈加倚重。镇海节度使李锜骄横不法，李吉甫认为他定会反叛，便劝宪宗召他回朝，加以控制。面对朝廷三次征召，李锜都称病不应，还以重金贿赂朝中权贵。十月，李锜攻掠州县，发动叛乱。李吉甫道：“李锜不过是个庸材，网罗的都是些亡命群盗，哪有什么斗志?如果朝廷征伐，定可成功。”征调素为江南藩镇所畏惧的徐州军和汴州军参与平叛，以震慑叛军。叛军听闻徐州(治今江苏徐州)、汴州(治今河南开封)兴师南下，果然斩杀李锜，向朝廷投降。李吉甫因功获封赞皇县侯。唐朝自德宗年间以来，对藩镇一直采取姑息的态度。很多节度使都是终身任职，拥兵自重，形成尾大不掉的态势。李吉甫针对这一弊病，加以改革。他在拜相后的一年多时间内，共调换了三十六个藩镇的节帅，使得节度使难以长期有效地控制某个藩镇。
元和三年(808年)，右仆射裴均交结权幸，欲求取宰相之职。当时朝廷正举行“直言极谏科”制举考试，有举子在考卷中抨击朝政，唐宪宗非常不满。裴均便指使党羽，称此事背后有宰相教唆，希望借此让李吉甫罢相。谏官李约、独孤郁、李正辞、萧俛等人上疏陈述原委，竭力为李吉甫辩白，唐宪宗这才怒气稍解。李吉甫原本与窦群、羊士谔、吕温交好。窦群担任为御史中丞后，举荐羊士谔为侍御史、吕温为知杂事。李吉甫却恼怒他事先没有向自己禀报，不肯批准，引起窦群等人的怨恨。后来，李吉甫患病，让医士留宿在家中。窦群却抓捕医士，上书弹劾李吉甫，称他结交术士。唐宪宗查知实情，贬逐窦群等人。李吉甫知道自己树敌过多，便请辞相位，并推荐裴垍接任。同年九月，李吉甫出镇淮南(治今江苏扬州)，授检校兵部尚书、中书侍郎、同平章事、淮南节度使。唐宪宗亲自在通化门为他饯行。李吉甫在淮南三年，常上书议政，指陈朝政得失，论列军国利害。他率领民众修筑富人塘、固本塘、平津堰(在今江苏高邮)等水利工程，灌溉农田近万顷，还奏请朝廷，免去当地百姓数百万石欠租。
元和六年(811年)，裴垍因病罢相。宪宗遂将李吉甫从淮南召回，再次任命他为中书侍郎、同平章事，加授金紫光禄大夫、集贤殿大学士、监修国史、上柱国，进爵赵国公。他建议裁汰冗杂官吏，减低百官俸禄，以节省国家财政开支。唐宪宗采纳了他的建议，最终裁减内外冗官八百余人、冗吏一千七百余人。当时，宗室诸王居住在十六宅中，连女儿的婚姻都要由宦官掌管。诸王只能厚礼贿赂宦官，以求得到嫁女的目的。李吉甫奏知皇帝，唐宪宗遂封诸王之女为县主，命有司挑选门阀子弟加以婚配。元和七年(812年)，魏博节度使田季安病逝，其子田怀谏继任。李吉甫劝唐宪宗出兵征讨，并推荐薛平为义成节度使，欲趁机收复魏博镇(治今河北大名)。但唐宪宗因宰相李绛极力反对，最终没有采纳。李绛刚正不阿，唐宪宗为制衡李吉甫，特意擢其为相。二人常在御前争论，唐宪宗认为李绛耿直，常听从他的主张。后来，李吉甫又绘制《河北险要图》，呈献给唐宪宗。宪宗将地图挂在浴堂门壁上，每逢议论河北局势，都对李吉甫大加赞扬。元和八年(813年)，回鹘越过大漠，南攻吐蕃。朝廷得报，却认为回鹘表面声称讨伐吐蕃，真实意图是要入侵唐境。李吉甫道：“回鹘并未与朝廷断绝和好关系，南下目的不大可能是侵扰边境，我们只要加强戒备，则不足为虑。”他建议恢复自夏州至天德军之间的十一所驿站，以便传递边境军情，又征调夏州精骑五百人驻屯经略故城，以接应驿使，同时护卫党项部落。李吉甫又建议朝廷复置宥州，以防御回鹘，安抚党项。唐宪宗遂在经略故城重新设置宥州，隶属于绥银道，并征调鄜城九千神策军前往驻守。李吉甫又征调江淮地区的三十万件兵器与千余匹战马，补充给太原、泽潞两军，以加强唐朝北部边防。
元和九年(814年)，淮西节度使吴少阳病逝，其子吴元济请求袭任。李吉甫认为淮西镇(治今河南汝南)深处内陆，四周又无党援，不宜效仿河朔三镇父死子继的惯例，主张趁机出兵夺取淮西。唐宪宗赞同他的意见，便让他策划征伐淮西之事。同年十月，李吉甫暴病去世，时年五十七岁。唐宪宗闻讯伤悼，派宦官前去吊唁，在按惯例馈赠之外，又从内库拿出绢帛五百匹以抚恤其家属，并追赠他为司空。太常博士为李吉甫拟谥号为敬宪，度支郎中张仲方却表示反对，认为谥号过于美化。宪宗大怒，贬斥张仲方，赐李吉甫谥号为忠懿。