220年曹丕即魏王位，封陈群为昌武亭侯，徙为尚书。当时陈群建制九品官人之法，深刻影响了魏晋南北朝的历史走向。同年，曹丕称帝，陈群升为尚书仆射，加侍中，徙尚书令，进爵颖乡侯，执掌曹魏行政大权。刘备死后，陈群还曾以个人名义给诸葛亮写信，劝其蜀汉能举国归顺。
225年，曹丕亲征东吴孙权，军至广陵，封陈群领中领军。226年，曹丕出师不利，返回寿春，任命陈群为假节、都督水军。曹丕回到许昌后，封陈群为镇军大将军，领中护军，录尚书事。同年5月，曹丕病重，陈群与曹真、司马懿等并受遗诏辅政。
在辅佐曹睿时期，陈群依然兢兢业业。235年，曹睿认为诸葛亮已死，便大兴土木，征发百姓修建皇宫，以致耽误农事。陈群几次上奏劝谏，言辞恳切，曹叡于是有所减省。236年12月，陈群病死，谥靖侯。其子陈泰嗣任，陈泰是曹魏重要将领，曾领兵抵抗姜维发动的北伐战争。陈氏家族在魏晋南北朝时期，历任高官，成为大士族——颍川陈氏。