公元581年，北周的外戚杨坚逼迫自己的外孙周静帝禅让，自己即位。杨坚就是历史上赫赫有名的隋文帝，隋文帝杨坚即位后改年号为开皇，这标志着北方大地经历了近三百年的战乱后，重新回到汉人手中。
公元589年，隋文帝又派大军南下灭陈，腐朽的南陈随即被隋朝所灭。从此以后，中华大地重归一统，然而这三百多年的分裂，使得南、北中国的制度截然不同。
因此，对隋文帝来说，他的当务之急就是重新建立新的行政制度适应大一统。
在前面的文章里我们讲到，南北朝后期，州的数量已经从东汉末年的十三个衍上百个，有的州只管辖一到两个郡，甚至还存在两个州共管一郡、一县的情况。
在这种情况下，郡就完全没有了存在的必要性。因为政区的混乱，对治理国家来说是个很大的障碍，早在隋朝刚取代北周的时候，大臣杨尚希就注意到了这一情况，他上书隋文帝：
“现在的郡县比过去多了很多倍，有的地方不到百里方圆，居然设立了好几个县，有的地方户数还不及一千，竟然要由两个郡来管理。”
因此，他建议要彻底整顿行政区划，而整顿的原则是“存要去闲，并小为大”。隋文帝很赞赏他的建议，隋文帝没有再延续东汉末年以来“州—郡—县”的三级制，而是去掉中间一级的郡，将行政制度化为两级制度。这便是“罢天下诸郡”。
隋朝的州县制其实和秦汉的郡县制一样，两级制度的好处就是中央的政令可以很容易下达到地方，而地方上不会再有一家独大的势头，避免了汉末以来州刺史手握重兵、割据一方的事情。
隋灭陈后，又将这一制度推行到陈朝故地，从此全国都成为了两级制。
隋文帝的改革虽然有一些成效，但依然不能算作是彻底解决了州县过多的问题，因为自南北朝以来，州、县的数量急剧增加，但区划变得很小，仅仅是州就有三百多个。而州县两级制的核心就是要让中央直接管辖州，如此大的规模要让中央来直接管辖，显然是难度太大。
但是隋文帝没能继续精简行政机构，这一工作是由隋炀帝完成的。公元607年，隋炀帝大业三年，炀帝下令将一些州县省并，随后又改州为郡，又回到了郡县制。隋炀帝的这次调整，效果是立竿见影的，一年以后，全国的郡就减少至一百九十多个，县则是一千二百五十五个，比起南北朝时期，情况好太多了。
再来说说隋朝时期郡一级的官员设置，首先最高行政官员还是太守，郡丞辅佐太守。后来，在太守之下，郡丞之上又设置了通守来监视太守。与汉朝的上计制度类似，隋朝的太守要亲自或者派人进京述职，这叫做朝集使。
与汉朝太守不同的是，隋代太守在军事上没有话语权。隋朝地方军权由都尉、副都尉统辖，太守和都尉分掌民、军。