隋文帝于开皇三年(583年)“罢天下郡”，实行以州领县的二级制，后来便很快推行到全国。但也带来了一个新的问题，这就是由中央政府来直接管辖全国二三百个州，实在是有困难的。所以，唐朝建立后，唐太宗便于贞观元年(627年)，又将全国划分为10道，即关内、河南、河东、河北、山南、陇右、淮南、江南、剑南和岭南诸道。这10道共领府、州358个，县1551个。而每一道或置官，或不置官，所置之官也仅是监察性质。
至唐玄宗开元二十一年(733年)，又改划15道，即将“山南”分为东、西二道关内“增置京畿道(治长安)，”河南“增置都畿道(治洛阳)，”江南分置东、西道和黔中道，共统府、州328个，县1573个。(见《旧唐书·地理志》)同时，开始在各道置采访处置史，其职权相当于汉武帝时的刺史。至此，道遂成为固定的监察区。
“安史之乱”后，又有了以掌兵权的节度使为地方行政长官的制度。节度使原为边地军事长官。唐玄宗开元、天宝间，仅有节度使10个，即河西、范阳、陇右、剑南、安西、朔方、河东、北庭、平卢、岭南。
后来，这种制度被滥用于内地，至肃宗时，节度使已猛增至44个(《旧唐书·地理志》)，宪宗时增至47个。(《元和郡县志》)每一节度使都可管数州，其辖区也都叫“道”。这种道实际上已成为州以上的一级行政单位了。
唐代还有一种行政区划，就是唐玄宗所新开的“府”。玄宗开元年间，首先将国都附近的三个州改府，即升雍州(长安所在地)为京兆府，升东都洛阳所在的洛州为河南府，升北都晋阳所在的并州为太原府。“安史之乱”后，又把皇帝驻跸过的州升为府，如升荆州为江陵府、益州为成都府等。
至唐末，这类的府共有10个，即京兆(雍州)、兴德(华州)、风翔(岐州)、河南(洛州)、兴唐(陕州)、河中(蒲州)、兴元(梁州)、成都(益州)、太原(并州)、江陵(荆州)。后来，在一些比较重要的地区又设都督府，如扬州都督府、益州都督府等。此外，在边地还设过都护府。最早的是安西都护府，为唐太宗平定高昌之后所设。此后又陆续设有五个这样的都护府，即安北、单于、安东、安南、北庭诸都护府。(《旧唐书·地理志》)唐代边塞诗人岑参《白雪歌送武判官归京》：“将军角弓不得控，都护铁衣冷难著。”其所谓“都护”，即指这类镇守边疆的长官。
统观唐代的行政区划，除了继承前代的州、县外，唐太宗创“道”，唐玄宗开“府”，唐睿宗又把节度使变为正式建置(也称“道”)，这样，便使唐代的行政区划又变为三级制。
北宋建立后，宋太祖、宋太宗实行中央集权，取消了节度使，让各州直接归属中央。但中央还是无法统管全国的州，所以又在州上设“路”。太宗至道三年(997年)，始定天下为15路，至神宗熙宁七年(1074年)，又增至23路。京畿所在的开封府不在23路之内。到徽宗时，改开封府为“京畿路”，遂为24路。这是北宋设“路”的大致情况。宋室南迁后，只存半壁江山，高宗绍兴十二年(1142年)便分为16路，后宁宗时又改为17路。
一般认为，宋代的“路”同于唐代的“道”，其实它们还是有所区别的。宋代一“路”不归一个机构、一个长官管辖，而分属于转运使(掌财赋)、提点刑狱(管司法)、安抚使(管兵政)等。每个机构只在它们所管的业务范围内举劾地方官，不能越权。所以宋代的“路”始终未能成为一级行政机构，只是介乎行政区与监察区之间的一种区划。这与唐代的“道”最后终于成为一级可总揽全权的行政机构不同。
两宋也还出现了一些新的行政区划单位，主要的是“军”和“监”。“军”在唐代是军事单位，称“军镇”，至宋则演变为地方行政单位。“监”是五代初出现的，最初是国营企业(如矿冶、铸钱、制盐、牧马等)的管理机构，宋时也演变为地方行政单位。领县的军、监与府、州同级，不领县的军、监与县同级。
辽、金的行政区划基本上也是以道、路辖州、县。辽袭唐制，分全国为五道，即上京道、东京道、中京道、南京道、西京道，合称“五京道”。每道有一个政治中心，称“府”。道下、县上的单位是府、州、军、城。金采宋制，分全境为20路(后并为19路)，路辖府、州，府、州领县。