郑覃出自一个显赫的家庭，父亲郑珣瑜在唐德宗、唐顺宗父子年间任宰相，他也因此得以在弘文馆担任校书郎，步入仕途。郑覃此后担任过拾遗、补阙这样的小官，后又历任考功员外郎、刑部郎中。
在唐宪宗年间的819年，郑覃被任命为谏议大夫，当上了高官。当宪宗想派五位宦官率军运粮到西北的回鹘、吐蕃边境时，郑覃上疏反对，宪宗取消了这项命令。
820年，唐宪宗驾崩，唐穆宗继位。穆宗好享乐，当年冬天，他在宫内召集朝臣。郑覃和崔郾等四名同僚趁机进谏，指出穆宗把太多的时间花在了饮宴和游乐上，在赏赐宠臣时耗费了国库太多的金钱。穆宗很惊讶，起初感到不悦，问宰相萧俛这是谁的上书。萧俛说这是谏议大夫们的主意。穆宗好言抚慰了他们，但并没有将进言的内容很好地付诸实际。大约此时，长期对抗朝廷的成德(首府在今石家庄)节度使王承宗去世，成德军想拥立其弟王承元为新的节度使，但王承元想把成德军的军权交还给朝廷。成德军于是不让他就任义成(首府在今安阳)节度使。王承元请求穆宗派一位高官来敦促士兵就范，于是穆宗派遣了郑覃，命王璠为他的助手，命他向成德军宣布朝廷的命令并赏赐大量现金。郑覃向成德军强调了忠于朝廷的重要性，士兵们也终于让王承元去赴任了。821年，在中书省任职的元稹和翰林学士李德裕与大臣李宗闵发生争斗。李宗闵的下级同僚杨汝士和礼部侍郎钱徽负责科举监考，前宰相、节度使段文昌和翰林学士李绅秘密请求钱徽给一些考生开后门。但发榜时，被要求开后门的考生并未通过考试，郑覃的弟弟郑朗、前宰相节度使裴度的儿子裴撰、李宗闵的女婿苏巢、杨汝士的弟弟杨殷士却都通过了。这个结果引起了骚动，段文昌弹劾杨、钱不公。当穆宗咨询翰林学士们的意见时，李德裕、元稹、李绅都赞成段文昌。穆宗命李宗闵的同僚王起安排重考，将钱徽、李宗闵、杨汝士贬为刺史，还废除了杨、钱选拔的10个考生的考试结果。一说这就是历时大约40年的牛李党争的开端，党争的一方为李德裕，即李党，另一方为李宗闵及其盟友牛僧孺等，即牛党。郑覃被卷入此次事件后，通常被认为是李党。同年，郑覃任给事中。
824年，穆宗驾崩，唐敬宗继位，郑覃被任为御史中丞，同年又临时兼任工部侍郎。825年，他又被任为京兆尹。
827年初，唐敬宗被弑，其弟唐文宗继位，郑覃被任为左散骑常侍。829年，又被授予翰林侍讲学士。830年，他又任工部侍郎。据说郑覃对中国古典典籍很有研究，行事也很正直，文宗因此尊敬他。在郑覃建议下，文宗开始了一项工程，将修改、加注后的典籍刻在石碣上，在太学展览。这项工程直到837年郑覃拜相才完成。831年，李宗闵、牛僧孺拜相，由于郑覃和李德裕交好，遭到李宗闵的轻蔑。李宗闵尤其对郑覃仅仅作为翰林侍讲学士却能接近皇帝而感到不快，并因而推荐郑覃任工部尚书而免去翰林侍讲学士。但文宗喜欢研究典籍，想念郑覃，在832年又任他为翰林侍讲学士。833年，李德裕代牛僧孺为相，这时文宗赞扬殷侑对典籍的了解，并与郑覃相比较。李宗闵说：“也许郑覃、殷侑对典籍都很有见解，但他们的意见不足采信。”李德裕则说：“郑覃、殷侑的意见被别人忽略了，陛下可没忽略。”不久，文宗没有咨询李宗闵就任命郑覃为御史大夫，又不久，李宗闵被遣出京城任山南西道(首府在今汉中)节度使。834年，郑覃被任命为户部尚书。同年，李德裕罢相，李宗闵复相，与文宗近臣李训、郑注联合把李党从重要岗位上驱逐下来。郑覃改任秘书监。835年夏，李宗闵和盟友杨虞卿得罪文宗，被流放，郑覃又任刑部尚书。冬天，郑覃任右仆射，兼任国子祭酒。不久，文宗、李训、郑注清洗权阉的计划(甘露之变)失败了。李训、郑注和很多朝臣如宰相王涯、贾餗、舒元舆都被宦官逮捕或杀害。在宦官胁迫下，文宗召郑覃和另一仆射令狐楚进宫复查王涯的供词——王涯因受刑不过，供认他和其他官员意图推翻文宗，让郑注当皇帝。令狐楚和郑覃证实供词是王涯所写。随后，文宗将两人留在宰相官署关注后果。李训、王涯、贾餗、舒元舆都被处死，郑注被袭杀。不久，令狐楚起草诏书谴责王涯等宰相谋反，但语言空洞，暗示谋反之说不可信，触怒了仇士良，因而未能拜相。郑覃则和李石一同被授予同中书门下平章事，相当于宰相。郑覃还被封为荥阳公。郑覃和李石拜相后，以仇士良为首的宦官经常引用李训和郑注的事例羞辱朝臣。据说郑覃、李石以李训、郑注最初是由宦官王守澄所推荐来回应。此后，朝臣就依靠郑覃、李石来保证人身安全。不久，扬言要屠杀朝臣的宦官田全操回京，引发了长安的恐慌。郑覃建议李石避难，李石拒绝了，指出如果宰相逃跑了，整个长安都会陷入恐慌，如果灾难真的要降临，谁也跑不了。郑覃同意了。随后，他和李石力主不再牵连李训等被诛官员的亲属。但宦官仍然掌控政权，朝臣惶惶不可终日。直到836年春，昭义军(首府在今山西长治)节度使刘从谏言辞激烈地上疏为王涯、贾餗辩白，弹劾仇士良的罪行，仇士良等宦官才有所收敛，文宗和郑覃、李石也得以行使权力。据说郑覃虽然博学，却不善著文，不喜欢在科举中长篇大论的考生，甚至建议废除科举，被文宗拒绝。当文宗和郑覃谈诗时，郑覃说眼下的诗语言过多，往往辞不达意。同时，太学开展的铭刻典籍的工程，在郑覃推荐下，由大臣周墀、崔球、张次宗、温业负责。完工后，郑覃兼任门下侍郎、弘文馆学士，负责为皇家修史。836年，前宰相李固言复相，和郑覃、李石共事，李石提出为前宰相宋申锡平反。宋申锡先前因被王守澄、郑注诬告谋反而被流放。郑覃、李固言都赞成，文宗也追复了宋申锡的生前官爵。838年，李石、李固言都已不是宰相，和郑覃共事的是陈夷行、杨嗣复、李珏。不久，宰相间就发生了争执，郑、陈为一派(都被认为是李党)，杨、李为一派(都被认为是牛党)。当杨嗣复提请把被贬为衡州(今湖南衡阳)司户参军事的李宗闵升官并调近京城时，文宗同意，郑覃坚决反对，说如果李宗闵升官，他就辞职，杨、郑在文宗面前发生了激烈的争吵。结果是李宗闵被任为杭州刺史。从此，朝廷的重要决策都蒙上了党争的色彩，文宗也难以驾驭。同年，郑覃请辞。文宗没有答应，却允许他可以隔三五天才到宰相官署报到。839年，又一场大争执爆发了。文宗表扬度支杜悰的才干，杨嗣复、李珏推荐他任户部尚书。陈夷行说：“这应该由皇帝做决定，不能把权力都下放给臣僚。”李珏说：“陛下先前告诉我，皇帝应该选择宰相，而不是怀疑宰相。”在随后的争论中，陈夷行再次强调皇帝不能放权给臣僚。受到攻击的李珏反驳：“陈夷行显然是怀疑有宰相在从陛下手中盗取权力。我此前已多次请求退休，如果我能被任命为一位亲王的老师，就有幸了。”郑覃说：“陛下在开成元年和二年(指836年和837年)做得很好，开成三年和四年就稍差了。”杨嗣复说：“头两年，是郑覃和陈夷行当宰相。开成三年和四年，臣和李珏也当了宰相。显然，这是我的罪过。”又说：“我不敢再进宰相官署了!”便不顾文宗在场，顾自退场。文宗派一个宦官去安抚他，郑覃也做了部分道歉，说：“臣愚昧。我不是刻意针对杨嗣复，但他的反应表明他容不下我。”杨嗣复说：“郑覃说政事一年不如一年，这不仅是怪罪臣，更是在指责陛下的圣德。”此后，杨嗣复数次请辞。不久，郑覃、陈夷行都被罢相，郑覃再次担任右仆射。
840年，唐文宗驾崩，其弟唐武宗继位。不久，李德裕复相，想推荐郑覃复相，郑覃称有足疾，拒绝了。842年，他以代理司徒的头衔退休，同年去世。