《元史·外夷传》中提到，日本位于东海东部，古称倭奴国，因当地人不喜欢这个旧名，于是改称为“日本”，意指靠近太阳升起的地方。
自从汉朝、魏晋到唐宋时期，日本都曾前来朝贡于中原王朝。宋朝雍熙年间，有一位日本僧侣前来，讲述了他们国家的风土人情，并带回了有四书五经、佛经以及白居易的集子。
元世祖至元三年，朝廷派遣兵部侍郎黑的前往高丽，并持国书寄给日本，国书上写着“大蒙古国皇帝奉书日本国王”，因为蒙古已经统治了中国，而日本没有来朝贡，因为国书里责备日本无礼。然而黑的没有到达日本就返回了，并未完成使命。
五年忽必烈再次派遣使者到达对马岛，日本拒绝接纳，并扣留了两名元朝使者。
六年，黑的等人来到对马岛，想要进入岛上，但岛上的居民拒绝了他们。黑的等人很生气，为此俘虏了日本人塔次郎和尔四郎。四月份，黑的和殷宏回朝，献上他们的俘虏。忽必烈非常高兴，对塔次郎等人说：“你们的国家曾经派人来中国朝见，这已经是一种常态。现在朕希望你们的国王也能前来朝见，并不是要逼迫你们，只是想要让后人知道这段历史。”六月份，忽必烈命令高丽护送塔次郎和弥四郎回国，并让中书省给日本国王写信说明这件事。但日本人仍然没有回复。
十一年正月，日本龟山天皇传位于太子，号为俊宇多天皇。元朝定计进攻日本，共出动水军共一万五千人、战船九百艘，又命高丽发兵一千六百人助讨。
八月，元朝远征军元帅忽敦领兵从合浦出发进攻对马岛。日本将领允宗助国率领八千骑兵前来抵御，日方派人上船询问来因。忽敦等人没有回答，于是大军登陆，袭击日本军队。允宗助国当场战死。忽敦等人继续攻打壹岐岛，登陆后立起红旗，日本将领平经高溃败逃走，躲入城中不敢出来。第二天，城池被元军攻陷，平经高战死。忽敦等人连续攻下三个岛屿，肆意屠杀，把抓获到的日本妇女用绳子穿过手心，绑在船舷上。
面对元朝的忽然入侵，日本人感到震惊，急忙征集藩属军十万二千余人前来支援。忽敦等人与日本军队在博多交战，各将依靠高处敲鼓，指挥士兵，根据鼓声前进或撤退。当敌人陷入困境时，他们就围而攻之。又使用铁炮陷阵，歼灭大量敌军。最终日本人接连溃败，忽敦一路前进到今津，与日本将菊池康成等人在赤坂交战，又在百道原与少贰沉惠作战，都取得胜利。忽敦等人在松林列阵，日本半大坂赖康前来阻挡，却再次溃败。此时恰好是夜晚，元朝各将只得依次回船。
夜晚，众将商议下一步举动，金方庆建议继续深入敌境，忽敦则说：“疲惫的军队深入敌境，不是上策，还是班师回国吧。”当晚刮起大风暴雨，元军战船遇到许多破坏，忽敦等人于是在夜间撤离。第一次远征日本结束。
至元十四年，日本商来到中国贸易，之后才将宋朝已经灭亡的消息带回日本。
元朝进攻日本为什么以失败告终？
十六年六月，宋降将范文虎、夏贵派使者前往日本，结果都被日本人斩杀。七月，宋旧臣发牒秘密告诉日本人说：“宋朝已为蒙古所灭，恐又危及日本，敢来告。”
十七年五月，忽必烈召来范文虎，商议远征日本。
十八年正月，忽必烈正式命令阿拉罕、范文虎率领十万大军征讨日本。二月举行誓师仪式，忽必烈告诫各位将领说：“我听汉人说，征服别国，目的是要得到百姓和土地，如果把百姓都杀光，光占领土地又有什么用。”他志在灭掉日本。六月，主将阿拉罕因病无法行动，于是命令阿塔海代总军事。
这次，元军攻打日本的对马岛和壹岐岛的时候，共杀了300多人。岛上的居民躲在山里，当元军听到儿童哭泣声时，就会去找到并杀死他们。日本的将领少贰资时率领数万士兵抵抗。元军使用火炮攻击，日本人最终溃逃。
当时军中爆发了大疫，有三千多人死于疾病。将元朝领们前进到宗像海时，日本将军北条时宗派遣秋田城次郎等来支援。由于日本的战船太小，无法抗衡元军，纷纷失败撤退。日本人心惶惶，市场里没有粮食，人们都前往八幡祠祈祷，又向太神宫祷告。
元将范文虎、李庭率领三千五百艘船、十余万士兵到了次能、志贺两岛，忻都、洪茶邱率领部队前来会合，船只相互靠拢前行，但屡次被日本人击退，招讨使忽者哈思等人阵亡。将领们于是撤至肥前鹰岛，看到山影和波涛，怀疑有暗流在海口，不敢靠近。当时能看到海上有硫磺气体冒出，怪异现象不断，士兵们为此心惊胆颤。
八月四号那天，台风忽然猛烈袭来，元朝战船全都遭到破坏，并最终沉没。包括左副都元帅阿刺帖木儿在内的溺死者数不胜数，他们的尸体随着潮汐漂流进入浦口，堆积如山。幸存者大约有数千人漂流至鹰岛，他们正修补破船，想要逃回去时，却被日本人赶来杀害。范文虎、李庭等的战船也遭到破坏，李庭抱着船板漂到了岸上，然后率领剩余众人从高丽北归。
最初，张禧与范文虎、李庭等一起率舟师前往肥前，张禧停船在平户附近，下令战船之间要保持五十步的距离，以避免风浪冲击，所以台风过后只有张禧的部队保持完整。范文虎看到战船已经被摧毁，于是建议返回，张禧反对，但范文虎等不听，于是张禧分开船只，让范文虎等自行返回，这次远征中的军士中没有回来的约有十余万人，高丽士兵死亡的也有七千余人。
范文虎等回国后向忽必烈撒谎说：“我们到了日本，打算进攻太宰府时，却遭遇暴风破船。万户厉德彪、招讨使王国佐、水手总管陆文政等不服从命令，擅自逃跑。所以我们被迫回国。”
不久，有败兵从阊逃回，向朝廷报告说：“主将范文虎等人选择了好船逃走，抛弃了十余万士兵在山下，众人无人领导，于是推举张百户为主帅，听从他的命令。准备伐木造船准备回国时，突然遭到日本军队袭击，众人无纪律，大败死伤殆尽，余下两三万人被日本军俘虏。接下来的两天，日本军屠杀了蒙古、高丽、汉人，将新附军当做新唐人，不杀而奴役，我们幸运地逃回，原本十万人的军队，只有三人幸存。”随后，军人莫青和吴万五等人也逃回来，说的话与阊大致相同。因此，范文虎等人都受到了惩罚，唯独张禧被赦免。
《元史》中提到征讨日本失败，主要因为各将领意见不合，都抛弃了士兵而逃。事实上，忽必烈在誓师时曾担忧说：“又有一事，我实在忧虑，怕诸位不和。”果然后来因此而失败。二十年，忽必烈计划再次远征日本，昂吉儿上书称会伤及百姓，于是取消；二十三年，交趾侵犯边境，于是取消对日本的进攻，专心对付交趾；成宗大德二年，速答儿请求再次征讨日本，成宗说：“现在不是时候，我再考虑一下。”然而，直至元朝灭亡，最终都没有再次进攻日本。
