在平息了家族内乱的纷争后，忽必烈再次启动了征讨南宋的伟大计划。当时的南宋，由于宋度宗在位期间权臣的亲蒙政策，导致南宋的将军们在抗击外敌的努力上徒劳无功。宋度宗去世后，权臣贾似道扶持共帝登基，借皇帝的名义操纵朝中事务。此时的南宋王朝犹如夕阳西下，光辉逐渐消逝。

1268年，忽必烈的重要将领速不台的孙子，兀良哈台的儿子阿术带领军队围攻襄阳这座战略重镇及其周围的樊城。这场持续了整整五年的战争，留下了许多动人心弦的故事，南宋的守将们用鲜血与生命书写了无数可歌可泣的英雄传奇。到了1272年，围攻四年的蒙古军队依旧未见明显成效。这时，阿里海牙为战局带来了转机，他从美索不达米亚引入了两位技艺精湛的匠人——毛夕里的阿拉丁与希拉的伊斯迈尔，他们所制造的攻城武器令南宋的军民遭受重创。

1273年2月，蒙古军顺利攻陷樊城。到了3月，饱受内外困扰的襄阳守军最终选择投降。在占领襄阳与樊城之后，蒙古军进一步控制了汉水流域的下游地区。1275年，阿术与另一位将领伯颜联合攻陷了湖北、江苏和安徽的一部分领土。随后，伯颜也向浙江发起进攻，顺利占领了常州。

1276年1月，伯颜成功攻占了南宋的都城临安，并俘获了摄政皇后与小皇帝。1276年2月25日，忽必烈以友好的姿态召见了南宋的小皇帝，尽管国家都城已经沦陷，皇帝被俘，但南宋的军民依然表现出顽强的斗志，誓言不屈不挠地抵抗敌人。

同年，阿里海牙先后攻占了湖南的长沙和广西的桂林。此时，忽必烈被迫返回蒙古处理族人的叛乱，这为南宋的主战派提供了喘息之机，他们试图在广东沿海重建自己的朝廷。然而，蒙古将军速客秃很快率军重返中原，并于1277年占领福州、泉州和广州，形成了对南宋的进一步压制。

1278年，潮州的陷落加重了南宋的危机。到了1279年4月3日，蒙古水军攻占了广州西南的崖山，这里成为南宋残部的最后庇护所。南宋的左丞相陆秀夫因形势所迫，偕同小皇帝赵昺投海自尽，宣告了宋朝的最终灭亡。

至此，突厥和蒙古民族第一次征服了中国的全境，这是五世纪以来拓跋氏和十二世纪女真人未竟的伟业，而忽必烈则完成了这一历史使命。他实现了草原游牧民族的梦想，让他们成为文明程度高、农业发达、人口繁多的中国的新主人。忽必烈通过武力征服了中国，而中国的文明也反过来深深影响了他。他渴望成为中国的天子，将中原打上蒙古的印记。在摧毁宋朝之后，他自此成为了拥有五千年历史文化的中国的合法统治者，并希望能够延续前22个中国王朝的传统与辉煌。

在1256至1257年期间，忽必烈在今察哈尔东、多伦诺尔附近的上都府建设了一系列宫殿，作为夏季的驻地。1260年，忽必烈决定以北京为都城，正式建立了元朝。到了1267年，他更是开始在原北京建筑群的东北修建新城，并称其为“大都”，意为“伟大的都城”，也被称为“可汗之城”，而西方人则称之为“汗八里”。蒙古统治者们将“大都”视为冬季的驻地，而上都府则依旧是他们的夏季活动中心。