1955年2月，国务院颁布决定，将原来的 6个大军区，改划为 12个大军区，即：沈阳军区、北京军区、济南军区、南京军区、广州军区、武汉军区、昆明军区、成都军区、兰州军区、新疆军区、西藏军区、内蒙古军区。
时任总参谋长的粟裕，受命主持此次军区体制改革。在军委扩大会议上，粟裕作了《关于全国军区划分的几个初步方案》的发言，共提出六种军区划分的方案。其中第一种方案——在海陆边防划分六个军区——东北、华北、山东、东南、华南、云贵，为准备战区，属于集团军（实际提升为方面军级）；在内地划分8个军区——川康、西藏、新疆、甘青、陕西、河南、湖北、内蒙古，为战略储备区，属于军级（实际提升为集团军级）——获得多数认可。在对内地军区适当合并后，最终形成了上述12个军区的划分。
如此划分军区，与中国决定加入冷战苏联阵营，直面原子弹威胁，有很大关系。
1954年9月，彭德怀率高级军事代表团访问苏联，亲身参观、体验了原子弹爆炸的威力。1954年底，苏联筹组“华沙条约集团”，张闻天代表中国参加会议，发表声明支持会议的一切决定。1955年1月，毛泽东亲自主持中央书记处扩大会议，决定向核国家进军。同月，芬兰大使履新，向毛泽东描述美国氢弹的巨大威力，毛泽东强硬回应：“如果再来一次战争，就算中国一国伤亡到第二次世界大战的全部死伤人数，那我们还有五亿多人。美国想用恐怖吓倒我们，但是吓不倒我们。”
2月，粟裕在军委扩大会议上，如此解释此次军区划分：“鉴于现代科学技术的发展和在今后战争中可能广泛使用原子武器，当帝国主义者决定发动战争时，可能利用其所谓‘原子优势’采取不宣而战，对我进行闪击。为了应付敌人的突然袭击和今后更复杂的战争情况，……须以敌人兵力及其可能进攻的方向、地形条件、交通状况以及我军的战略意图、作战方向和今后战争可能发展的趋势，作为军区划分的主要依据。”
值得关注的是，此次改革之后，各大军区的司令员和政治委员的年龄，几乎全部集中在40-50岁之间；“少壮派”将领被推上了第一线。
“十二大军区体制”一直持续到1985年，期间略有变化。
1956年，为加强对台斗争，增设福州军区。1967年，鉴于中苏关系严重恶化，为防备苏联，内蒙古军区被降为省军区，划入北京军区。1969年，为便于对西南边防的资源支持，西藏军区被降为省军区，划入成都军区。
1973年，因林彪之死，毛泽东亲自主持了一场“八大军区司令员对调”——“文革”期间，军队以“三支两军”的名义介入地方，几乎所有省、市、自治区“革委会”主任和党委书记，都由各大区司令员、省军区司令员兼任，可谓“军政合一”。八大军区司令员对调后，“不再兼省委书记”、也不再兼任“革委会”主任，使地方得以再次军、政分离。