李揆字端卿，祖籍陇西成纪人，而家于郑州，代为冠族。少聪敏好学，善属文。开元末，举进士，献书阙下，诏中书试文章，擢拜右拾遗。乾元初，兼礼部侍郎。揆尝以主司取士，多不考实，徒峻其堤防，索其书策，深昧求贤之意也。其试进士文章，曰：“大国选士，但务得才，经籍在此，请恣寻检。”由是数月之间，美声上闻，自此颇承恩遇，遂蒙大用。时京师多盗贼，有通衢杀人置沟中者，李辅国方恣横，上请选羽林骑士五百人以备巡检。揆上疏曰：“昔西汉以南北军相摄，故周勃因南军入北军，遂安刘氏。皇朝置南北衙，文武区分，以相伺察。今以羽林代金吾警夜，忽有非常之变，将何以制之?”遂制罢羽林之请。
揆在相位，决事献替，虽甚博辨，性锐于名利，深为物议所非。又其兄楷自有时名，滞于冗官，竟不引进。同列吕諲，地望虽悬，政事在揆之右，罢相，自宾客为荆南节度，声问甚美。惧其重入，遂密令直省至諲管内抅求諲过失。諲密疏自陈，乃贬揆莱州长史同正员，揆既黜官，数日，其兄楷改授为司门员外郎。后累年，揆量移歙州刺史。初，揆秉政，侍中苗晋卿累荐元载为重官。揆自恃门望，以载地寒，意甚轻易，不纳，而谓晋卿曰：“龙章凤姿之士不见用，麞头鼠目之子乃求官。”载衔恨颇深。及载登相位，因揆当徙职，遂奏为试秘书监，江淮养疾。既无禄俸，家复贫乏，孀孤百口，丐食取给。萍寄诸州，凡十五六年，其牧守稍薄，则又移居，故其迁徙者，盖十余州焉。元载以罪诛，除揆睦州刺史，入拜国子祭酒、礼部尚书，为卢杞所恶。德宗在山南，令充入蕃会盟使，加左仆射。行至凤州，以疾卒，兴元元年四月也，年七十四。