孝文帝率领大军浩浩荡荡向南进发，大军抵达肆州时，他看见路上老百姓有腿瘸眼瞎的，就立刻让马车停下，慰问安抚这些人，又供给他们终生的衣食。
大司马拓跋休逮捕了三名偷盗的士卒，把他们绑起来到各个军营中游行示众，然后就要将他们斩首。
孝文帝御驾巡视军营正巧经过这里，下令赦免他们。拓跋休认为不能这样做，他说：“陛下亲自统领六军，将要远征江南，而如今我们刚刚走到这里，这些奸诈小人就开始偷盗抢劫，不斩了他们，我们怎么能禁止人们干坏事?”
孝文帝说：“事情的确像你所说的那样，不过，君王有时会赐予意外的恩泽。这三人犯了这样的罪，虽然理应处死，可是，命运使他们遇到了朕，即便他们违反了军事法令，也可以特别赦免他们。”
接着，又对司徒冯诞说：“大司马拓跋休执行法令严肃认真，你们以后不能不小心谨慎地做事。”军队的纪律也为此森严起来。
孝文帝继续前行抵达了并州，并州刺史王袭在当地很有声誉和成绩，州内治理得平安宁静，孝文帝对他极为赞许。王袭下令全州百姓在道路两旁，竖起很多石碑，虚假地赞美自己的德政。孝文帝听说后，就查问王袭，但王袭还试图狡辩不肯说实话。孝文帝很生气，将王袭的称号贬降了两级。
孝文帝下诏，规定皇帝乘车所经过的地方，如果给百姓秋季庄稼造成了损害，对每亩被毁坏的田地要发给五斛稻谷，作为补偿，于是军队所过之处秋毫无犯。
孝文帝从平城出发，直到抵达洛阳，一直阴雨连绵，没有停过。孝文帝冒雨巡视完洛阳故宫旧址、稍事休整后，又诏令各路大军继续向南进发。
他身穿战服、手持马鞭，骑马走在队伍的最前面，文武官员们经过长途行军跋涉，疲惫不堪，都不愿意冒雨继续前进，于是纷纷拦住马头，不断叩拜，请求停止南伐。
孝文帝说：“作战计划已经决定，各路大军将要继续前进，你们还啰嗦些什么呢?”
尚书李冲等人说：“我们现在的行动，全国上下都不愿意，只有陛下一个人想实现它。臣不知道陛下一个人坚持南伐，究竟是为了什么。臣等有一心报国效忠皇上的心愿，却无法表达出来，只好冒死向陛下请求。”
孝文帝勃然大怒，说：“我现在正要征服外邦，希望统一天下，治理国家，可你们这些文弱书生，却屡次怀疑这一重大决策。杀人用的斧钺有它们使用的地方，你们不要多说什么!”说完，又纵马要走。
这时，安定王拓跋休等人一齐来好言劝谏，流泪阻止。孝文帝余怒未消，又告诉大家说：“这一次，我们出动军队的规模不小，出动而没有什么成就，我们将来拿什么让后人看?如果就这样班师，如何名垂千载!朕世世代代居住在幽朔，一直想要南迁到中原。如果我们不再向南征伐，那么，我们就应该把京都迁到这里，你们认为这样做怎么样?同意迁都的人站在左边，不同意迁都的人站在右边。”
话音刚落，拓跋休等人一齐站到了右边。南安王拓跋桢见势不妙，连忙靠近孝文帝说：“干成大事业的人，并不向众人征询意见。如今，陛下如果放弃向南征伐的计划，将京都迁到洛邑，这正是我们所希望的，是老百姓的幸运。”文武百官都高呼万岁。
当时，许多鲜卑人虽然不愿意向南迁移，但又害怕再向南征伐，所以，也就没有人敢说些什么。北魏的迁都大计，于是确定了下来。
李冲对孝文帝说：“陛下将要迁都洛邑，可是，皇家祖庙和皇宫、府宅都要重新建造，我们不能只骑在马上走来走去，等待着它们的建成。希望陛下暂时回到代都，等到文武百官把这一切事情做好之后，陛下再备齐依仗，在宁静祥和的銮铃声中莅临新的京都。”
孝文帝说：“朕正要到各个州郡巡查，现在正好可以利用这个机会，先到邺城行宫，暂作停留，明年一开春就返回，而不应该先回北方。”
于是，派遣任城王拓跋澄返回平城，向留守在那里的官员们宣布迁都的决定，他对任城王说：“如今才是‘革卦’上真正的‘革’，你要把事情办好。”
由于文武官员的意见并不一致，孝文帝就对镇南将军于烈说：“你是怎么想的呢?”
于烈回答说：“陛下圣明的谋略，是为了国家长远的利益，这不是愚昧、肤浅的人所能预测得到的。但如果推测大家的心意，愿意迁都的人和依恋故土的人，正好各占一半。”
孝文帝说：“你既然没有公开说自己反对，那就是表示认同了，我深感到你不说话的好处。”
于是，他派于烈回到平城镇守，说：“留守在朝廷里的一切事情，全都托付给你了。”
冬季，十月初一，孝文帝前往洛阳金镛城，召回穆亮，命令他和尚书李冲、将作大匠董尔一起负责营建新都洛阳。初二，孝文帝率众北巡，从金镛城前往河南。初八，前往豫州。十六日，在石济住宿。十八日，下令北魏境内解除戒严，在滑台城东边兴筑祭台，向随行的祖宗牌位禀告迁都的想法，并下令实行大赦。
任城王拓跋澄回到平城，留守的百官刚刚听到要迁都时，没有不感到震惊的，于是，拓跋澄引经据典，慢慢地解释开导，让大家明白这样做的好处，最后，大家终于接受了。拓跋澄回到滑台向孝文帝汇报了这一情况，孝文帝高兴地说：“没有任城王，朕的大事就办不成。”
二十六日，孝文帝前往邺城。王导的后人王肃因父兄皆为齐武帝萧赜所杀，所以投奔了北魏。他在邺城晋见孝文帝，向他陈述讨伐南齐的策略。孝文帝和他谈着谈着，不知不觉地把自己的座位往前移，以便听得更仔细些，时间不知不觉地过去了很久。
从那以后，孝文帝对王肃的器重和待遇一天比一天隆厚，无论是亲信故旧还是重臣，都无法离间这君臣二人之间的关系。孝文帝有时就让左右侍从退下，单独和王肃谈话，谈到半夜，仍不停止，他自认为和王肃相见太晚了。
不久，又任命王肃为辅国将军、大将军长史。这时，孝文帝正打算推广使用礼仪和雅乐，将鲜卑人传统的风俗习惯改成和汉人的一样，所以，只要是展示帝王威严仪容的文物制度，大多都让王肃来确定。
孝文帝在北方巡视结束后，渡过黄河回到了平城，他让诸位大臣再次议论迁都的利害关系，各位臣子都表述了自己对此问题的看法。
燕州刺史穆罴说：“如今天下四方没有安定，所以不宜于迁都。况且到时候军中缺少战马，这样如何能克敌取胜呢?”
孝文帝回答说：“养马的地方在代郡，何愁没有马呢?如今代郡在恒山以北，九州范围之外，不适合做帝王的都城。”
尚书于果说：“我并不认为代郡胜过洛阳，但是自从道武皇帝以来，就一直居住在这里，老百姓已经安居于此，一旦让他们往南边迁移，恐怕会产生不满情绪。”
平阳公拓跋丕说：“迁都是一件大事，应当通过卜筮来决定。”
孝文帝说：“古代的周公、召公是圣贤之人，所以才能卜问何处安居，如今没有他们这样的圣贤了，卜筮又有什么用处呢?况且古人曾经说过：‘占卜的目的是要决定有怀疑的事情，如果没有犹疑，何必占卜?’过去，黄帝占卜而龟甲烧焦，不能显示兆象，天老说是‘吉’，黄帝听从了。这样说来，最圣贤的人对未来的预测就比龟甲还要灵验。再说王者以四海为家，哪有什么长久居留之处!朕的远祖，世代居住在北边的荒野，平文皇帝才建都于东木根山。昭成皇帝又经营盛乐城，道武皇帝迁居到平城。朕很幸运遇上了能平定天下、施行教化的时运，为什么就不能迁都呢?”
群臣们都不敢再表示反对意见了，孝文帝驾临朝堂，亲自主持部属了迁往新都洛阳和留在平城的人事、机构安排事项。