长白山古时称为不咸山、“太白山”，清朝时满族人称之为白山(Golmin SanggiyanAlin)或“白头山”，近代朝鲜半岛人和日语中的汉字也都以“白头山”称之。长白山也以“白山”(指长白山)与黑龙江的“黑水”(指黑龙江)并称，是中国东北的代名词。
最早记录我国东北长白山的史籍是战国和西汉初成书的地理书《山海经·大荒北经》。书中称：“东北海之外，……大荒之中有山名曰不咸，有肃慎氏之国。”肃慎是东北的古老民族，活动在今延边和绥芬河一带。《后汉书·东夷传》和《晋书·四夷传》皆有“肃慎氏一名挹娄，在不咸山北”的记载。
晋代以前长白山一直名称不咸山。后魏又称“徒太山”、“太皇山”。《魏书·勿吉传》载：“勿吉国南有从太山者，华言太皇，俗甚敬畏之。”到了唐代，又改称为“太白山”，《新唐书》载：粟末部“居最南，抵太白山，亦曰徒太山。”
长白山之名始于金代，而且一直沿用至今。《金史·世纪》载：“生女真地有混同江、长白山，混同江亦号黑龙江，所谓白山、黑水是也。”金代统治者认为“长白山在兴王之地，礼合尊崇议封爵，建庙宇”。因此，在大定十二年(公元1172年)十二月，封长白山为“兴国灵应王，即其山北地建庙宇”。大定十五年三月，奏定封册仪物，每逢春秋二季，择日致祭。明昌四年(公元1193年)十月，复册为开天弘圣帝。
到了清代，满族统治天下，长白山在满语里叫“果勒敏(长)珊延(白)阿林(山)”。清朝以长白山为发祥地，康熙十六年(公元1677年)，特命大臣觉罗武木纳前往长白山拜谒，回京奏疏，议封长白山神，每年遣使致祭。康熙二十一年(公元1682年)，康熙皇帝东巡到吉林时，在松花江畔举行了隆重的望祭长白山活动。清朝几百年间，将长白山列为封禁之地。