陈夷行是元和七年(812年)进士，早年曾效力于藩镇幕府，后到东都洛阳为官，历任侍御史、虞部员外郎。
太和三年(829年)，唐文宗将陈夷行召到长安，授为起居郎、史馆修撰，让他参与编修《宪宗实录》，后改任司封员外郎。太和五年(831年)，陈夷行升任吏部郎中，并充任翰林学士。太和八年(834年)，陈夷行兼任皇太子侍读，每五日一到长生院为太子李永讲学，并获赐绯色官衣、象牙朝笏，后改任谏议大夫、知制诰。太和九年(835年)，陈夷行又改任太常少卿。
开成二年(837年)，陈夷行在工部侍郎任上被拜为宰相，加授同中书门下平章事。开成三年(838年)，杨嗣复、李珏拜相。陈夷行生性孤高，素来轻视杨嗣复，每逢御前议政，都会在言语上加以冒犯，以致发生冲突。他上表皇帝，称自己患有足疾，请求辞去相位。唐文宗不许，命宦官到他府中慰劳。不久，陈夷行进拜门下侍郎。开成四年(839年)，陈夷行又进言皇帝，认为不应使臣下握有威权，宰相郑覃也暗指杨嗣复、李珏乱政。杨嗣复数次上表，请辞宰相，借此向文宗施压。当时，陈夷行与郑覃交好，结为同党，在朝中与杨嗣复等人相抗衡，引起唐文宗的憎恶。唐文宗遂免去郑覃、陈夷行的宰相之职。陈夷行被罢为吏部侍郎，不久又出任华州刺史。开成五年(840年)，唐武宗继位，将陈夷行召回朝中，授为御史大夫。会昌元年(841年)，陈夷行再次拜相，担任门下侍郎、同平章事。当时，回鹘嗢没斯部到天德军，寻求援助，欲内附唐朝。天德军使田牟上表朝廷，建议拒绝受降，并联合吐谷浑、沙陀、党项等部落攻击嗢没斯。首相李德裕则主张接受投降，并提供粮草。陈夷行表示反对，认为此举是在资敌。唐武宗最终采纳了李德裕的建议，赏赐嗢没斯粮草二万斛。
会昌二年(842年)，陈夷行被罢为尚书左仆射，后因足疾请辞，改任为太子太保。会昌三年(843年)，陈夷行出镇河中府(今山西永济)，担任检校司空、平章事、河中尹、河中晋绛节度使。同年五月，唐武宗命陈夷行与成德节度使王元逵、魏博节度使何弘敬、河阳节度使王茂元、河东节度使刘沔一同征讨昭义军。会昌四年(844年)，陈夷行病逝于河中节度使任上，追赠司徒。