“牙门”用于官府衙署最早
见于汉代
“牙门”这一名称逐渐移用于官府的衙署，在汉朝人写的《武瓦闻见记》中有明确的记载：“近俗尚武，是以通呼公府为‘公牙’，府门为‘牙门’，字稍讹变转而为‘衙’也。”在如淳注的《汉书》“衙县”一词中，“衙”字的读音为“牙”，于是“衙”字才有“牙”的读音。如淳是三国时期的魏国人，那么，读“衙”为“牙”这个音，当是始于魏、晋，而把“牙门”演变为“衙门”，也应该始于此时。也有人说“衙”字读作“牙”音始于唐朝。宋徽宗时期的学者袁文认为，汉朝许慎的《说文》中“衙”字无“牙”音，而陆德明在《左传》的“彭衙”这个词的下面没有注明“衙”字的读音，陆德明是唐朝人，可见当时“衙”字已读为“牙”音，无需注明，而《说文》中的“衙”字又无“牙”的读音，故不敢注明读作“牙”音。由此可见，“衙”字读作“牙”音，出于唐代。这也许是因为袁文尚未读到如淳的《汉书注》一书。
其实，“衙门”一词的“衙”字源流久远，在《春秋》一书中有“彭衙”，《楚辞》中有“飞廉之衙衙”。《说文》和《集韵》中都把“衙”字读作“语”。郑康成注《仪礼》“绥泽”一词时说：“取其香且衙湿”，其中也有“衙”字。北宋时期，“衙”字的读音读作“迓”。北宋贾昌朝在《群经音辨》中说：“‘衙’音‘迓’。于是始有‘迓’音，然犹未作平声也。”
《南史》中说：“侯景将帅谋臣朝，必集行列门外，以次引进，谓之衙门。”由此可知，六朝时就已将“牙门”演变为“衙门”了。因此，李济翁在《资暇录》写道：“武职押衙，本押牙旗者。”也就是说，武职的官员镇守衙门，原本是在看守官署里的牙旗。《资治通鉴》一书采纳了《资暇录》的说法，以唐朝官制的“正衙奏事”改为“正牙奏事”。
“衙门”一词广为流行
始于唐代
唐朝以后，“衙门”一词广为流行开来。在《旧唐书》中，凡是正衙和衙门，俱写作“衙”字，《新唐书》中，则把衙门都写为“牙门”，是在追本求源。然而，牙、衙两个字在衙门和牙门的运用中相混固已久矣。唐朝时，皇帝颁布圣旨的宣政殿，称为“正衙”，皇帝居住的紫宸殿，称为“内衙”。唐朝封演在《封氏闻见录》中写道：“困以公门外刻木为牙，立于门外，故称‘牙门’，后‘牙’讹为‘衙’也。”
到了北宋以后，“牙门”一词似乎销声匿迹了，人们几乎只知道“衙门”而不知有“牙门”了。宋太宗的时候，大臣张洎说朝廷或修复正衙，当下两制，预加考订。由此可见，宋朝时的朝廷说的是衙门，而非牙门。
也有人说“牙门”的“牙”字和“衙门”的“衙”字来源于“吾”字。宋朝的吴斗南说：“汉制有金吾、木吾，所以参卫于朝署之前者。吾本读作‘牙’，后世衙门之讹，当自‘吾’字始。”这也是一种说法。
后来，由“衙门”一词还派生出了许多词，如“衙役”，指的是衙门里的差役；“衙内”，指的是衙门里的警卫官员，因为这种警卫官员多为当时的官吏子弟充任，所以称官吏的子弟为“衙内”，比如《水浒传》里陷害林冲的高衙内就是这种角色。