日耳曼诸民族的族源尚无确说。据说是使用铁器的北欧人与使用青铜器、操印欧语系的波罗的海南岸居民混合而成，青铜时代晚期，这些人居住在现今瑞典的南部、丹麦半岛以及德国北部介于埃姆河、奥得河与哈次山脉之间的那片地方。
最早使用“日耳曼人”这个词的是希腊历史学家波希多尼。他在约前80年时第一次使用这个词。也许他在与中欧的某一个今天无法考证的小民族接触时听到了这个词并将它用来称呼所有的日耳曼民族，有可能这样一个小民族的名字后来成为了整个民族群的名字。
公元前51年恺撒在他的《高卢战记》中使用了日耳曼人这个名称。恺撒在东部高卢战役中，将来自于莱茵河东部的已凯尔特化的对手及其他混合人口统称为日耳曼人。而在此为前罗马人将欧洲西部的民族称为凯尔特人，而欧洲东部的民族被称为赛西亚人。到此时为止，罗马人才认识到日耳曼人并非凯尔特人，而是一个独立的民族群。塔西佗说凯尔特人称莱茵河以东的民族为“日耳曼人”，后来这些民族自己也称自己为日耳曼人。根据这个叙述这个词有可能是从凯尔特语过来的。严格地说只有从这个时候开始我们才能将这些民族称为日耳曼人。欧洲北部的青铜器时代的人几乎可以肯定是日耳曼人。而所谓的战斧人与日耳曼人之间的关系还有争议。最新的理论通过对河流和地名的研究认为日耳曼人的产生地在今天德国中部山区的北部。但大多数学者对这个理论持怀疑态度。
塔西陀时代，各个日耳曼民族都意识到彼此之间存在一种亲属关系。一些在罗马军队中服役的日耳曼人有时会自称为日耳曼尼(Germani)，而那些生活在莱茵河以东的自由日耳曼人则没有一个专门用来称呼自己的集体名字，直到西元11世纪时，他们才采用了diutisc(现代德语deutsch，意为“属于人们的”)这个形容词来自称，由此这个词才流行开来。至于Germani这个族名及该族所用语言，其确切涵义尚不可考。