郑余庆年轻时勤奋好学，善做文章，在大历年间考中进士。建中四年(783年)，郑余庆被山南西道节度使严震辟为幕僚，授为节度从事，累迁至殿中侍御史，后因父丧辞职。
贞元元年(785年)，郑余庆被征召入朝，历任兵部员外郎、库部郎中，后被选为翰林学士。贞元十三年(797年)，郑余庆改任工部侍郎，并主持吏部选官事务。当时，朝廷命御史中丞宇文邈、刑部侍郎张彧、大理寺卿郑云逵组成三司会审，与功德使判官诸葛述一同审理已被判令还俗的僧人出家案。朝臣都认为诸葛述只是一介小吏，不应与大臣一同审案。郑余庆上疏辩说，得到一致称赞。 贞元十四年(798年)，郑余庆升任中书侍郎、同中书门下平章事，成为宰相。他与度支使于䪹交好，对于䪹所奏之事皆表赞同，但于䪹不久却因罪被贬。唐德宗又打算将赈灾的物资发给禁军，却被中书省的官吏将消息泄露。郑余庆因此遭到追究，被贬为郴州司马。永贞元年(805年)，唐顺宗继位，征拜郑余庆为尚书左丞。同年八月，唐宪宗继位，又擢升郑余庆为同平章事。当时，中书主书滑涣与内官典枢密刘光琦互相勾结，狼狈为奸。宰相杜佑、郑絪都对他们加以姑息，但郑余庆却在议事时当众斥责滑涣。元和元年(806年)，郑余庆被免去宰相之职，贬为太子宾客。八月，滑涣贪赃事发，被赐死。唐宪宗听闻郑余庆斥责滑涣之事，对他非常敬重，改任他为国子祭酒，后拜河南尹。
郑余庆两次拜相，罢免均非大过，其清廉节俭深为时人所称道。他先后在中央和地方任职，更是德高望重，评议朝政得失，所言必定成为准则。元和三年(808年)，郑余庆代理兵部尚书之职，并兼任东都留守。元和六年(811年)，郑余庆被正式任命为兵部尚书，并为病逝的太子李宁撰写《惠昭太子哀册》。后来，医工崔环由淮南小将被擢升为黄州司马。郑余庆认为诸道散将不能无故便被授为五品正员官，而且当时并无缺职，遂将敕令封还，因此被改任为太子少傅(虚职)，并兼任太常寺卿。 元和九年(814年)，郑余庆被拜为检校右仆射，兼任兴元尹，并充任山南西道节度观察使。 元和十二年(817年)，唐宪宗加授郑余庆为太子少师。此时，郑余庆已年过七旬。他认为自己已到致仕年纪，便上表朝廷，请求退休，却被唐宪宗驳回。元和十三年(818年)，郑余庆改任尚书左仆射，并因谙熟典章，被任命为详定使。他引韩愈、李程为副使，崔郾、陈佩、杨嗣复、庾敬休为判官，对朝廷仪制、吉凶五礼加以修定。不久，郑余庆改任凤翔尹、凤翔陇右节度使。
元和十四年(819年)，郑余庆兼任太子少师、检校司空，赐爵荥阳郡公，并充任国子祭酒。他见太学荒废日久、生员欠缺，便上奏朝廷，请求以文官俸禄修缮两京国子监。元和十五年(820年)，唐宪宗暴死，唐穆宗继位。郑余庆因曾任穆宗的东宫属官，得以进位检校司徒，深受荣宠。同年十一月，郑余庆病逝，终年七十五岁，追赠太保、谥号为贞。