裴冕在天宝年间以门荫入仕，历任渭南县尉、京畿采访使判官、监察御史、殿中侍御史。他虽无学术，但却恪守职责，而且处事果断，深受御史中丞王鉷的器重。天宝十一年(752年)，王鉷因其弟王焊谋反受到牵连，在宰相李林甫的进言下，被唐玄宗赐死。当时，李林甫独揽朝政，百官畏惧。裴冕却不惧李林甫权势，前去收敛王鉷的尸体，亲自将他埋葬在近郊，后被河西节度使哥舒翰署为行军司马。
至德元年(756年)，安史叛军进逼长安，唐玄宗西逃入蜀，皇太子李亨则北上平凉。裴冕因被授为御史中丞，入朝途中恰在平凉遇到李亨。他详述时势，劝李亨前往灵武，并五次劝进，请求李亨即皇帝位。七月，李亨称帝，是为唐肃宗，以定策之功授裴冕为中书侍郎、同中书门下平章事。此时，玄宗尚不知肃宗称帝，在成都遥授肃宗为天下兵马元帅，并以裴冕为太子左庶子。 八月，肃宗即位的消息方才传到蜀地。裴冕生性忠勤，一心为公，颇得人心。他建议出卖官职爵位以及僧道度牒，以此积聚钱财，充作军费。但在具体运作之时，却以法令强迫他人去买，使得卖价很低，引起时人非议。至德二年(757年)，肃宗到达凤翔郡，免去裴冕的宰相之职，改为尚书右仆射。两京收复后，裴冕获封冀国公，食实封五百户。
乾元元年(758年)，唐肃宗册封回纥可汗为英武可汗，以幼女宁国公主和亲，并让裴冕将公主送至边境。乾元二年(759年)，裴冕改任御史大夫、成都尹、剑南西川节度使，剑南道观察使，后回朝复任右仆射。宝应元年(762年)，唐肃宗病逝。唐代宗继位，将肃宗葬于建陵，并以裴冕为山陵使。当时，宦官李辅国因拥立之功被拜为宰相，权倾朝野。裴冕欲依附李辅国，便举荐其心腹中书舍人刘烜为山陵使判官。后刘烜获罪，裴冕也被贬为施州刺史，改澧州刺史。广德二年(764年)，唐代宗征召裴冕回朝，授为尚书左仆射、御史大夫、充东都河南江南淮南转运使。永泰元年(765年)，裴冕与右仆射郭英乂、太子少傅裴遵庆、太子少保白志贞、太子詹事臧希让、左散骑常侍畅璀等十三人一同被任命为集贤院待诏。
大历四年(769年)十一月，宰相杜鸿渐病逝。当时，元载执掌朝政，因裴冕曾对自己有旧恩，而且年迈多病，容易控制，便推荐他继任宰相。裴冕被拜为左仆射、同中书门下平章事，又兼任东都留守、河南江淮副元帅。他入朝谢恩，跪拜后竟然站不起来。元载将其扶起，代为赞谢。同年十二月(770年1月)，裴冕病逝，终年六十七岁。而这时，他担任宰相还未满一个月。唐代宗废朝三日，追赠太尉。元和四年(809年)，唐宪宗将裴冕的灵位放入宗庙，与韩国公苗晋卿一同配享肃宗。