据《日本书纪》记载，推古天皇三十一年，自唐朝归国的留学僧惠齐、惠光、医惠日、福因等人上奏说，在唐留学人员均已修成学业，他们向天皇建议：“大唐国法式备定之珍国也，常须达。”日本朝廷认可这一建议，经过7年准备，于舒明天皇二年(630)派出第一批遣唐使。此后264年中，共任命遣唐使19次，其中有13次真正到达了唐朝。遣唐使这一非同寻常的政治活动，自然并非几个留学僧的建议便可肇端。
遣唐使回国后，虽然一度在政治上受到排挤，但无论政治制度改革，抑或学习唐朝文化，他们都发挥了不可替代的作用。其中名声最著、作用最大者，当属吉备真备。
吉备真备22岁时随第8次遣唐使入唐，在唐凡17年。他学习内容非常广博，三史、五经、名刑、算术、历道、天文、汉音、书法、音乐、秘术、杂占等皆有涉猎。吉备真备根据汉字楷书的偏旁创造了“片假名”，与空海和尚根据汉字草书偏旁创造的“平假名”一同构成日文的字母。如此恐怖的知识量和跨越时代的发明，令他在日本民间形成了类似于诸葛亮的地位。后人编绘的《吉备大臣入唐记绘词》收录了许多怪诞的传说。例如一则故事说，唐朝人强留吉备不归，吉备便施展秘术“封住”日月，致使十天之内天下时辰出现怪动，唐人占卜后得知真相，吓得皇帝马上下诏准其归国。
吉备真备归国后仕途顺利，先后任大学助、东宫学士、春宫大夫等职，先后给大学竂学生传授五经、三史、明法、算术、音韵、籀篆等六道，还给孝谦女帝讲授过《礼记》等学问。藤原仲麻吕(惠美押胜)得势时排挤吉备真备，逼他在56岁时再次奉使入唐。归国后吉备真备主持过太宰府军政，天平宝字八年(764)惠美押胜叛乱，吉备真备以其卓越的军事才能平定叛乱，从此平步青云，做到了右大臣之位。他的学问广博有余精深不足，先求具其形而后再求深入，代表了那个时代日本学习唐朝文化的典型状态。
晁衡的名声更加响亮。他717年随第8次遣唐使团入唐，与素怀大志的吉备真备不同，他更加专注地学习文学，因为成绩优秀，获准参加科举考试并中了进士，在唐朝历任校书、左拾遗、左补阙、仪王友。这几个官职对文化素养要求都非常高，可见其造诣之深。故而李白、王维、储光羲、包佶、赵骅等才子士人都与他交情颇深。
唐玄宗对晁衡非常喜爱，以至于733年晁衡提出要归国时未获同意。直到752年，五十多岁的晁衡再次提出归国探望父母，玄宗才终于批准。王维等人向他道贺，纷纷以诗酬送，晁衡亦作《衔命还国作》一诗：
衔命将辞国，非才忝侍臣。天中恋明主，海外忆慈亲。伏奏违金阙，骖去玉津。蓬莱乡路远，若木故园林。西望怀恩日，东归感义辰。平生一宝剑，留赠结交人。
752年十月，晁衡归途中遭遇风暴，晁衡和大使藤原清河漂流到驩州(今越南)。当时人们都以为晁衡遇难，大诗人李白悲伤不已，写了一首《哭晁卿衡》以哀悼之：
日本晁卿辞帝都，征帆一片绕蓬壶。
明月不归沉碧海，白云愁色满苍梧。
晁衡后来辗转回到长安，后来官做到镇南都护(正三品)，770年以73岁高龄结束了他富有传奇色彩的一生。晁衡是中日交往一个光辉的典型，故而中日两国都对他评价颇高，分别在西安和他的故乡奈良为他树立了纪念碑，以表彰他为两国友好做出的巨大贡献。