当年底，忽必烈撤军北返燕京，但蒙古草原似乎已无他的立锥之地。
忽必烈没有冒然深入故都，而是以经营多年的中原地区为根基，依托麾下优势的蒙古军和汉军力量，在开平（今内蒙锡林郭勒盟境内）继位。他发布《皇帝登宝位诏》中，自称为朕，称蒙哥为先皇，提出更改蒙古旧制而采行汉法，建立中央集权制封建政权，同时强调新政权为中朝正统而天下一家。
留守蒙古帝国故都和林（今蒙古国哈尔和林）的阿里不哥获悉消息后，赶紧召开大会，由蒙古贵族推举继位，支持者包括窝阔台家族、察合台家族、蒙哥家族和旭烈兀家族。
一个蒙古帝国出现了两个大汗。兄弟间多次交涉无果，矛盾一天比一天激化，终于爆发了为期五年之久的战争。
公元1260年冬，忽必烈连战连捷后，在冰雪之中进驻和林。而阿里不哥败逃之后，遣使向忽必烈请求觐见。忽必烈批准，留下一支部队在和林等待，随后返回燕京。
第二年秋，阿里不哥假装归顺，再度举兵占领和林。双方在塞北激烈对阵，战事呈胶着状态。
转折点发生在公元1262年。漠北发生大饥荒，忽必烈禁断了通往和林的粮道，阿里不哥因粮饷不继被迫西迁。忽必烈不战而重新夺回和林。
两年后，阿里不哥的军事驻地再次出现饥荒，被迫向忽必烈投降，争位之乱就此平息。
忽必烈、阿里不哥的夺位之争，是蒙古国分裂的标志。以这场大规模内战为起点，黄金家族的内部矛盾激发，大蒙古国迅速由统一趋于分裂。
忽必烈建立元朝后，将都城转移到大都，从而更加便于采纳汉法，加强对中原地区的统治。大蒙古国内部则逐渐形成元朝以及各自独立的四大汗国，即窝阔台汗国、察合台汗国、伊利汗国及钦察汗国。
至此，忽必烈虽然名义上还是蒙古大汗，但不再是实质上的大蒙古帝国统治者。