苗晋卿年轻时勤奋好学，善作文章，后考中进士，授为修武县尉，历任奉先县尉、徐州司户参军、万年县尉、侍御史、度支员外郎、兵部员外郎、吏部员外郎。
开元二十三年(735年)，苗晋卿升任吏部郎中，后与孙逖一同被拜为中书舍人。开元二十七年(739年)，唐玄宗命苗晋卿主持吏部铨选事务。候选官员为求肥缺，有的软磨硬缠，甚至出言不逊。苗晋卿性情谦和，对此毫无怒色。开元二十九年(741年)，苗晋卿升任吏部侍郎。他主持铨选五年，政策宽松，属下胥吏趁机作恶，以致贿赂成风。当时，天下承平已久，每年候选官员多达万余，宰相李林甫虽兼任吏部尚书，但专心于朝政，铨选事务都被委托给苗晋卿与侍郎宋遥。天宝二年(743年)，御史中丞张倚的儿子张奭到吏部候选。苗晋卿与宋遥因张倚正受玄宗宠信，欲攀附于他，便在录取的六十四名官员中将张奭列为第一。时人都知张奭从不读书，因此群议沸腾。前蓟县县令苏孝韫告知安禄山，安禄山则趁觐见之时奏与唐玄宗。唐玄宗亲自在花萼楼测试，录取官员能通过考核者只有十之一二，张奭则直接交白卷。唐玄宗大怒，将苗晋卿、宋遥、张倚一同贬官。苗晋卿被贬为安康太守。
天宝三年(744年)，苗晋卿改任魏郡太守，兼河北采访处置使。他在河北任职三年，政绩突出，又调任河东太守、河东采访使，但魏郡百姓仍为其立碑。此后，苗晋卿历任工部尚书、东京留守、宪部尚书。天宝十四年(755年)，安禄山起兵反唐，窦廷芝弃守陕郡。宰相杨国忠嫉妒苗晋卿的声望，便奏请以苗晋卿为陕郡太守、陕虢防御使，企图将他排挤出朝廷。苗晋卿却自称年老多病，坚持不肯赴任。唐玄宗很不高兴，便让他致仕退休。至德元年(756年)，叛军进逼长安，唐玄宗入蜀避乱。皇太子李亨北上灵武，被拥立为帝，是为唐肃宗，并尊唐玄宗为太上皇。当时，朝中大臣多被叛军俘获，陈希烈、张均等数十人被送往洛阳，接受伪职。苗晋卿则由小路逃往金州。
至德二年(757年)，唐肃宗到达凤翔，将苗晋卿召赴行在，拜为左相，每遇军国事务都要咨询他的意见。同年十月，郭子仪收复两京，唐肃宗返回长安。苗晋卿改授侍中，进封韩国公，食实封五百户。乾元二年(759年)，苗晋卿见唐军逐渐平定叛乱，便上表乞骸骨，请求退休。唐肃宗下诏褒奖，免去他的宰相职务，改授太子太傅。上元元年(760年)，唐肃宗又思念旧臣，再次征拜苗晋卿为侍中。宝应元年(762年)，唐玄宗病逝。唐肃宗卧病不起，便命苗晋卿摄冢宰，苗晋卿极力辞让。不久，唐肃宗病逝。唐代宗继位，又命苗晋卿摄冢宰，苗晋卿仍然不肯接受。当时，苗晋卿年纪老迈，行走困难，请求隔天一入政事堂。唐代宗允许他在入朝时不用急步而行，并在延英殿召对，以示优礼。
广德元年(763年)，吐蕃攻入长安，唐代宗逃往陕州。当时，苗晋卿正卧病在家，遭到吐蕃军威逼。他闭口不言，吐蕃军也不敢加害。不久，郭子仪再次收复长安。唐代宗免去苗晋卿的宰相之职，册拜他为太保，随即又命他退休。永泰元年(765年)，苗晋卿病逝，终年八十一岁，追赠太师，赐谥懿献，唐代宗还命京兆少尹为他操办丧事。宰相元载此前曾得到苗晋卿的提拔，因此讽劝太常寺，将苗晋卿的谥号改为文贞。大历七年(772年)，苗晋卿的灵位被放入唐肃宗的宗庙。