当朱元璋率兵打败元兵，一路势不可挡，正准备建立自己的千秋万代之时，选择国家的都城，就成为了一个迫在眉睫的问题，并且究竟定在那里最好呢?朱元璋为此几经波折。
最初朱元璋参加农民起义军后，一直活跃在江淮之间。然而这里土地贫瘠，民生艰苦，而且接近元朝的军事力量，不利于自己的发展壮大。为了谋求更大的发展空间，成就不世之伟业，必须另择一个既有经济保障又地形险要的根据地，这样金陵就进入了朱元璋的视野。
金陵，北有长江天堑，为形胜之地，三国吴，东晋，南朝宋、齐、梁、陈，五代十国的南唐都曾以此为都城。冯国用首先向明南京城墙朱元璋建议攻取金陵，"金陵龙蟠虎踞，帝王之都，先拔之以为根本，然后四出征伐，倡仁义，收人心，勿贪子女玉帛，天下不足定也"。陶安也建议先取金陵，据形势以临四方。叶兑也上书请求定都金陵，然后就可以拓地江广，进军两淮，北征蒙古，退军又可以据长江以自守。
元至正十六年(1356)，朱元璋听取谋士的意见，攻取金陵，改称应天府，修建宫殿，以此为争夺霸业的基础。此后十余年间，朱元璋南征北战、四出征讨，将江南群雄依次消灭。洪武元年(1368)正月，朱元璋在应天称帝，在即位诏书中称应天为京师。
然而朱元璋只是暂时肯定了应天作为京师的地位，并没有正式确立国都。作为自己成就霸业的地方，朱元璋为何不肯确立应天为国都呢?首先，朱元璋觉得以应天为国都的历朝都是气数不久，似乎不太吉利。其次，有些大臣认为"有天下者，非都中原，不能控制奸顽"，明南京聚宝门藏兵洞，而且应天偏处江左，在位置上作为国都不是十分理想。
三月，朱元璋派兵攻取汴梁。许多人建言定都汴梁。朱元璋很重视，于四月亲自前去实地考察。他认为汴梁虽然位置适中，但是无险可守，四面受敌，论形势不如应天。八月，朱元璋正式下诏，以应天为南京，汴梁为北京。朱元璋既然对汴梁不甚满意，为何又要定为北京呢?原来他考虑到汴梁是宋朝的旧都，北上征讨元朝时可以唤起北方民众的民族情感，有很大的号召力;而且当时西北未定，需要将汴梁作为运送粮草和补充兵力的基地。
虽然确定了应天、汴梁的两京制度，但是朱元璋并没有修建汴梁的打算，他还在寻找更加合适的地方。洪武二年(1369)八月，平定陕西。在这种情况下，定都之议再起。九月，朱元璋召集大臣商议国都之地。大臣各抒己见，主要集中在长安、洛阳、应天、汴梁、北平等地，"或言关中险固，金城天府之国;或言洛阳天地之中，四方朝贡，道里适均，汴梁亦宋之旧都;又或言北平元之宫室完备，就之可省民力"。朱元璋在分析各地利弊之后，提出了以临濠为中都的想法，"所言皆善，惟时有不同耳。长安、洛阳、汴京，实周、秦、汉、魏、唐、宋所建国，但平定之初，民力未苏息，朕若建都于彼，供给力役悉资江南，重劳其民。若就北平，要之宫室不能无更，亦未易也。今建业长江天堑，龙蟠虎踞，江南形胜之地，真南京莫愁湖胜棋楼(传说太祖与徐达在此下棋)足以立国。
临壕则前江后淮，以险可恃，以水可漕，朕欲以为建中都，何如?"临濠在元朝时称为濠州，洪武七年改称凤阳，是朱元璋的家乡，群臣岂敢有异议?这样，明初就形成了南北两京、中都并存的情况。从九月开始，朱元璋下令仿照南京规制在临濠营建中都。他之所以决定以临濠为中都，甚至一度想迁都临濠，除了这里是他的家乡，还与优待淮西功臣集团有关。众所周知，朱元璋在起兵反元建立明王朝的过程中，淮人多随同他东征西讨，立下功劳，成为开国功臣，包括丞相李善长、徐达和功臣汤和、耿君用、耿炳文、郭兴、郭英、周德兴、常遇春、陆仲亨、曹震、张翼、陈桓、谢成、李新、何福、张龙、张赫、胡泉、陈德、王志、唐胜宗等人，其中汤和与周德兴还是朱元璋同村伙伴。能够光宗耀祖、荣归故里，当然是他们所愿意的。
然而洪武八年(1375)四月，朱元璋在巡视中都修建情况后，突然下令停止修建。此时中都修建达6年之久，已经颇具规模。停建的理由是劳民伤财，其实更深层次的原因是朱元璋与淮西功臣集团矛盾日益加剧。淮西功臣恃功自傲，多有违法乱纪之事，而且在朝廷中结党谋取私利，与朱元璋加强皇权背道而驰。他担心在淮西功臣集团的老家建都，会更加助长他们势力的膨胀。洪武十一年(1378)正月，朱元璋下诏改南京为京师，定都问题才算告一段落。
其实，朱元璋对南京一直不是很满意，迁都的想法从来没有打消过。洪武二十四年(1391)，朱元璋派太子朱标巡视关中，颇有迁都关中的打算。当时，明朝的主要威胁是蒙古草原上的北元残余力量。迁都西北，可以加强北方边防，安定边界。朱标考察了西安和洛阳，比较两地地形，回来后向朱元璋献陕西地图。不料世事无常，太子朱标于第二年病逝，使朱元璋受到沉重的打击，再也没有精力和心情考虑迁都的问题了。
他在当年年底亲自撰写的一篇祭灶文中，表达了万般无奈的心情："朕经营天下数十年，事事按古就绪。维宫城前昂后洼，形势不称。本欲迁都，今朕年老，精力已倦，又天下初定，不欲劳民。且兴废有数，只得听天。惟愿鉴朕此心，福其子孙。"听起来真是异常的凄凉，也能感觉到国都问题一直令朱元璋不能释怀。
朱元璋这样费尽苦心地更张制度，反复斟酌定都问题，无非是因为天下得之不易，希望能世代固守，传之久远。因此，他不会允许任何人对其统治和权力构成威胁，甚至那些被他认为会对其子孙的统治构成威胁的人，他都会毫不手软，必欲除之而后快。