近代中国的「留学」概念是从19世纪晚期才形成的，然而向前追溯，「留学」这个词早在隋唐时期就出现了，只不过那时的留学生都是来中国留学。
大约在公元600年前后，日本的圣德太子开始向隋朝派出使节和学生，系统的到中国学习文化，隋朝也是中国首次大批接受外国学生的朝代。「留学生」一词就是在这个时候由日本首创的，用以区别在中国短暂学习一段时间后便返回日本的「还学生」。但由于时间短暂，学习不完整、不系统，还学生在日本的地位是远不及留学生的。
进入唐朝后，日本向中国派遣留学生的风气更盛，这时他们还有了统一的名字——遣唐使。在贞观时期，日本对遣唐使的派遣达13次之多，而留在大唐学习的留学生最多的时候有六百多人。大唐对日本留学生开放了最高标准的「国子监六学」，公元九世纪，日本人正是以汉字为基础创造了日语的假名。
唐朝几代帝王对留学生的各种投入处处尽显着大唐作为天朝上国的自豪感，主持大唐礼仪的鸿胪寺官员经常要承担留学生的教学和辅导工作。而日本的这些留学生一般没有固定的学习时间，几年到几十年的都有，最著名的阿部仲麻吕更是直接在大唐做到了从三品的左散骑常侍。
「留学僧」在唐朝也是一群真实的存在。这些日本僧人来唐朝系统学习与宗教相关的文化知识，这些「留学僧」回国后与留学生一样，都会受到天皇的格外重视。尽管唐朝也派使者到过日本，但由于「撮尔岛国不值一学」的想法，这些人并不能成为「留学生」。鉴真的六次东渡实际上是有违唐朝国禁的私人行为。
唐朝之后，中国的大门仿佛就关上了，里面的人出不去，外面的人进不来。