1259年，蒙哥汗决心彻底解决南宋，忽必烈重获起用，负责指挥东路军，攻打鄂州。当双方正在激战时，从四川传来消息：蒙哥汗在钓鱼城战死。面对这一突如其来的变故，忽必烈在几经犹豫后，决定从鄂州战场抽身。在与南宋权臣贾似道议和后，忽必烈率大军急速北上，开始了对蒙古大汗宝座的角逐。
1260年三月初，在部分蒙古宗王、中原汉地官僚士大夫的拥戴下，忽必烈于开平正式登上蒙古大汗的宝座，并首次采用汉族王朝的年号——中统纪元。忽必烈的登基，标志着一个新时代的来临。忽必烈的即位，并不是一帆风顺的。几乎就在他即位的同时，弟弟阿里不哥也在哈剌和林附近被拥戴为蒙古大汗。
作为幼子，阿里不哥是拖雷夫妇遗产的合法继承者，掌握着父母留下的大部分蒙古部众与军队。蒙哥出征南宋时，阿里不哥奉命留守和林，牢牢控制了蒙古政权的政治中心。蒙哥死后，阿里不哥得到蒙哥诸子及蒙古汗廷大臣的普遍拥护，以蒙哥合法继承者的面目出现。
相反，忽必烈数年前就曾因与蒙哥发生冲突而赋闲，只是因蒙古对南宋战事吃紧才重获起用。他拒绝奔赴漠北参加选举蒙古大汗的忽里台，在开平另起炉灶，偏离了蒙古本土选举大汗的政治传统，这对维护他正统大汗的形象是非常不利的。
锡林郭勒盟博物馆忽必烈登基大典景观
面对阿里不哥的挑战，忽必烈首先争取到另一个弟弟旭烈兀的支持。此时，旭烈兀正主持蒙古第三次西征，前锋已逼近埃及。得知蒙哥去世后，他迅速撤军东归，途中遇到忽必烈的来使，承认他在阿姆河以西的权利。旭烈兀于是留在当地，建立起承认忽必烈宗主地位的伊利汗国。
蒙哥去世后留下的四川蒙古军将领，大多倾向拥护阿里不哥。为了斩断阿里不哥的右臂，忽必烈紧急派遣廉希宪等人赶赴陕西，设计杀死拥护阿里不哥的蒙古将领。驻守六盘山的蒙古军主帅浑都海被迫西撤，与阿里不哥南下接应的阿蓝答儿军会合。
中统元年（1260年）九月，双方在甘州东删丹附近的耀碑谷发生激战，浑都海、阿蓝答儿战死，川陕地区被牢牢控制在忽必烈手中。漠北地区是双方的主战场。为了打赢这场战争，忽必烈几乎调动了他所有的精锐部队。战争进行得非常残酷，和林不仅得而复失，战火还一度烧到了大漠以南。中统二年（1261年）十一月，昔木土脑儿一战决定了阿里不哥失败的命运。此后，阿里不哥的处境每况愈下。四年后，走投无路的他被迫向忽必烈投降。
阿里不哥汗位之争，并非我们通常所理解的造反或叛乱。中国有句古话，“成者为王败者寇”。阿里不哥归降时，忽必烈曾得意地问过他们之间到底谁对谁错，阿里不哥回答说：“从前我对，现在你对。”这也可算作他对那句中国古话所作的蒙古式阐释吧。
忽必烈没有想到的是，阿里不哥的投降，仅仅是噩梦的开始。海都，蒙古第二代大汗窝阔台的嫡孙，一直在关注忽必烈与阿里不哥的战争。阿里不哥投降后，他继之而起，扯起反对忽必烈的大旗。同阿里不哥相比，海都是一个更难对付的挑战者。他不仅复兴了衰落的窝阔台汗国，成功地控制了察合台汗国，甚至还将西面遥远的钦察汗国也联合到自己的旗帜下。
至元六年（1269年）春天，成吉思汗三子——术赤、察合台、窝阔台三系代表在塔剌思草原举行忽里台大会，成立了共同反对成吉思汗幼子——拖雷系领导下的元朝与伊利汗国的联盟。这次会议成为蒙古帝国最后走向分裂的标志。从此，忽必烈永无安宁之日，越来越多的蒙古宗王站出来向他发起挑战。