忽必烈向高丽人提出的或许是最苛烦的要求，是协助他与日本建立联系。在长达四个世纪的历史时期内，日本岛国的大部分地区在很大程度上处于与中国完全隔绝的状态。由于9世纪中叶佛教在中国遭受迫害，日本与中国逐渐疏离，直至最后决定几乎完全切断与中国的贸易和文化联系。对于忽必烈来说，如果能与日本重建朝贡关系，就能在汉人心目中树立自己的高大形象，这将是其他任何方法都无法比拟的。正是这种急于博取汉人赞赏的心态，促使他决定一定要与这个日出之国建立联系。但直到那时为止，蒙古将领还从未参加过海战。而此时忽必烈做出了一个重大的决定，要跨海降伏这个岛国。虽然他并没有打算发起一场海战，但是他降伏日本的计划最终导致了悲惨的结局。
网络配图
忽必烈的征日准备工作已经进行了相当长的一段时间了。他命令高丽人制造船只，运送他的军队横跨日本海，从日本列岛的最南端发起攻击。1274年11月，他派遣了一支由蒙古人、汉人、女真人组成的一万五千人的军队和六千至八千名满心不悦的高丽士兵(他们并不想参加这场战役)，由大约七千名高丽水手引导，从合浦(在现在的韩国釜山附近)出发开往日本。蒙古军分乘三百艘大船和四百到五百艘小船，首先在对马岛和壹岐岛登陆，轻易地荡平了驻守在那里的日军。但是，忽必烈派往日本的军队无论规模上还是实力上都不足以彻底扫平日本列岛。他肯定低估了日本人的抵抗能力。
最关键的战斗自然将在九州进行。虽然日本人知道蒙古大军正在开过来，但是他们的准备工作做得还很粗略。他们的经济状况无法在九州维持一支规模可观的军队，他们也没有一个政治统一和中央集权的政权去组织一支强大的军队投入战斗。他们根本无法对付蒙古人的远程武器，包括十字弓和各种各样的弹射器。他们的指挥官缺乏实战经验，与身经百战的蒙古统帅无法相比。日本军队长于肉搏，但是蒙古军队习惯于以组织严密的小组为单位集体作战，这种战术是日本人所不熟悉的。所以，当蒙古军于11月19日在九州东岸的博多登陆时，日本人处于绝对的劣势。蒙古军在进军之前鼓乐齐鸣，其战阵和攻击方法使得日本人毫无招架之力。第一晚的战斗就使日本军队遭受了人员和装备的重大损失。他们的残兵败将更是不堪一击。溃败看来是在所难免了，那天晚上，唯一使他们大难不死的是无边的黑暗。
但大自然为日本人提供了更好的保护。就在同一天晚上，海面突然起了风暴。高丽水手马上对蒙古将领说，他们必须回到船上，把船开往海上，直到风暴消退。否则，他们的船只就会与岸边的岩石相撞而沉没，那样，他们将失去唯一的撤退工具。蒙古人勉强同意了，并开始从博多撤退。一些日本人追击并杀死了一些正在撤退的蒙古兵。然而，那天晚上蒙古兵遭受的大多数伤亡都发生在海上。狂风、巨浪和礁石把几百艘船只击成了碎片。根据一些记载，蒙古军有一万三千人因此丧生。日本人因这场风暴而大难不死。蒙古人的远征以彻底的失败而告结束，残余的蒙古军驶回了老家，向忽必烈报告了这次惨败。
网络配图
由于大汗正把全部精力投入到征服南宋的战役中，他无法腾出手来立即向日本人复仇。相反，1275年忽必烈又向日本派遣了一个使团，由杜世忠和何文著带领，要求日本称臣，以免再度兴师入侵日本。日本当局正因为最近的军事胜利而趾高气扬，并相信他们的神拯救了他们，于是把不幸的使节处死，进一步加深了与中国王朝的嫌隙。对蒙古人来说，再没有什么比这种行径更可恨的了。忽必烈决不能允许这样一种暴行逃过惩罚。但是，直到好几年后他才腾出手来再次兴兵讨伐日本。
13世纪70年代中叶，忽必烈已经平定了高丽，甚至把他们变成了征日战役中的帮手，尽管高丽人并不情愿这样做。但他无法以同样的手法降伏日本人。他在别处有更多需要操心的事情，特别是对他的帝国领土完整的现实威胁。中亚向他的政治权威提出了更加严重的挑战。他必须首先解决那个地区的问题，然后再回过头来对付日本人。