我国古代的一级行政区，汉朝称为州，如荆州、幽州;唐朝称为道，如关内道、河南道;宋朝(金朝)称为路，如京东西路、江南西路等。到了元朝，一级行政区不再称路，而是称省，也就是现在省的由来。
一级行政区称为省，出现于元朝，但其源头可追溯到被元朝灭掉的金朝。金太宗完颜吴乞买时设行台尚书省，由皇帝派一个亲信大臣管理某几个地方的军政，类似于北朝隋朝的总管府，一总管辖数量不等的州。比如金朝设过燕京行台尚书省、汴京(河南开封)行台尚书省。元朝灭掉金朝，但继承了金朝的行台尚书省制，元世祖忽必烈的哥哥蒙哥汗就设过燕京行台尚书省，忽必烈即位后撤销了尚书省，将其并入中书省。金朝的疆域不算特别大，只占据东北和淮河——秦岭以北的中原地区。
元朝是我国历史上疆域最大的朝代，元朝不可能把地方上所有事务都交给中书省打理，中书省就在地方上设置外派机构，代表中书省进行管理，这就是元朝行省制。行省制在早期并不是固定的地方行政机构，更像是临时派遣，以军事为主。等到形势稳定之后，行中书省的职能逐渐向民政转移，同时也包括管理军政。
不像宋朝面积那么小，却设了很多路，元朝面积非常大，但行省却不多。中书省有一个直管地区，称为腹里。腹里在早期包括现在的首都、天津市、河北省、山西省、内蒙古的中部、山东省、河南省以及东北地区。腹里地区实在太大了，管理不便，需要拆分。元世祖至元二十四年(1287年)，元朝将腹里所辖的东北(包括外东北)单独设置辽阳行省，治所在今辽宁省辽阳市。到了1307年，现在的蒙古以及不包括外东北的西伯利亚地区设岭北行省，治所在和林。岭北行省包括蒙古、内蒙古东北部、新疆东北部，以及俄罗斯乌拉尔山大部地区。和林在哪呢?在蒙古杭爱省车车尔勒格东南。
腹里以南有个江淮行省，管辖范围包括现在的江苏省、安徽省北部、浙江省、江西省东北部。江淮行省的治所最早放在江苏扬州，后来迁到浙江杭州。江淮行省的治所在扬州与杭州之间来回跑，如果治所在扬州，则该省的名称是江淮行省;如果治所在杭州，则该省名称是江浙行省。早在唐宋时，长江下游地区就已是全国经济最发达的地区，江淮行省经济实力强，引起了元朝担心，决定拆分江淮行省。元世祖至元二十八年(1291年)，江淮行省的江北离开江淮行省，与河南合并，称为河南江北行省，治所在河南省东部的开封市，五代宋金的故都。江淮行省少了江北之后，不再称江淮行省，只称江浙行省，治所在杭州。此时的江浙行省管辖范围略小，元成宗大德三年(1299年)，朝廷撤销福建行省的建置，将福建并入江浙行省。
江浙行省以西是江西行省。省名同为江西，但元朝的江西行省和现在的江西省不完全是一个概念，只不过省会都在南昌。元朝江西行省的辖区并不包括现在江西省省会南昌以东的地区，如上饶、景德镇等市，但包括现在广东省的大部。江西行省设于至元十四年(1277年)，南宋灭亡之后一年(南宋灭亡于1276年，其残余势力灭亡于1279年。)
江西行省以西是湖广行省，设于至元十一年(1274年)，南宋灭亡前夕。湖广行省的面积非常大，湖北省、湖南省、贵州省、广西、海南省都在湖广行省的辖区之内，此外还包括广东省西南部的雷州半岛。有意思的是，湖广行省南北狭长，省会却在行省最北端的武汉。
中书省直管地区面积缩小后，其西线以黄河(南北方向)为界，黄河以西是设于1260年的陕西行省。陕西行省包括现在的陕西省和四川省，之所以把四川放在陕西管辖范围内，是考虑四川北与陕西以秦岭为界，容易出现割据。不过到了1281年，也就是至元十八年，四川还是单独建省，之后又与陕西合并一次，1286年彻底分开。陕西行省包括现在的陕西省全部以及甘肃省的东部地区。
陕西行省以南是四川行省，面积有多大呢，大约包括现在的四川省东部(非高原部分)和重庆。四川行省的核心区域是肥沃的四川盆地，号称天府之国，诸葛亮助刘备占领四川盆地终成帝业，三分天下。
陕西行省以西是甘肃行省，管辖范围和西夏疆域差不多，包括甘肃省的河西地区，以及宁夏和内蒙古的西部地区。这里以沙漠地势为主，南以祁连山与青藏高原为界，是中原地区连接西域、欧洲的重要陆路通道。作为世界第三极的青藏高原在元朝属于宣政院管辖范围，毕竟这里的情况异于中原地区。宣政院本称为总制院，后改为宣政院。宣政院辖区的东南是云南行省，设置于至元十一年(1274年)。元朝云南行省的面积要大于现在的云南省面积，包括现在的云南省、四川省西南部、东南亚国家缅甸东北的大部分地区，甚至还包括泰国的北部地区，与大理国的疆域差不多。
元朝是我国历史上一个非常重要的朝代，元朝的行政区划深深影响了我国几百年，明清以及现在的省级行政区制度，都是元朝行省制度的延续。