郑惠王李元懿四世孙。李夷简早年为郑县丞，贞元二年(786年)进士，累迁殿中侍御史。元和时，拜御史中丞，弹劾京兆尹杨凭贪污僭侈，杨凭被贬临贺尉，至交亲人无敢相送，独徐晦送之于蓝田。李夷简推荐徐晦为监察御史，徐晦不知为何升官，李夷简说：“君不负杨临贺，肯负国乎?”历官山南节度，御史大夫，官至门下侍郎同平章事。元和十三年七月，罢相。由程异接任宰相。为淮南节度使。唐穆宗时，以检校左仆射兼太子少师，分司东都。长庆三年卒，赠太子太保。
