清朝著名的章回小说《红楼梦.第四十八回》上载︰“着他写一张状子，只管往有司衙门中告去。”及清朝戏曲家李渔所作十种曲之一的《玉搔头奸图》曰︰“只指望讨几封荐书，往各衙门走走。”这里出现的“衙门”，都是指古代官吏办理公务的地方。
那么，为什么古代官府又称为“衙门”呢?
衙门是古代官署的一种俗称，就是官吏办公、办事的地方。如《广韵》上载︰“衙，衙府也。”衙府就是官署。据宋朝钱易《南部新书庚》上记载︰“近俗尚武，是以通呼公府、公门为牙门，字称讹变转为衙。”因此，衙门原作“牙门”，讹误变易后才称为“衙门”。
古代军队驻扎戍守，主帅或主将的军营前会树立一牙旗作为军门，称为“牙门”。在《周礼》上称为“旌门”，如《周礼天官掌舍》：“为帷宫，设旌门。”另《国语》上则称为“军门”，如《国语.齐语》︰“执枹鼓立于军门。”三国吴云阳人韦昭.注：“军门，立旍为军门，若今牙门矣。”
又《后汉书袁绍传》：“麹义追至界桥，瓒敛兵还战，义复破之，遂到瓒营，拔其牙门。”李贤.注：“《真人水镜经》曰：‘凡军始出，立牙竿必令完坚;若有折，将军不利。’牙门旗杆，军之精也。”
所谓的“牙旗”，就是天子或将军立在军营前的大旗，因为旗杆上通常用象牙做装饰，所以称为牙旗。如《文选张衡东京赋》：“戈矛若林，牙旗缤纷。”薛综.注：“兵书曰，牙旗者，将军之旌。谓古者天子出，建大牙旗，竿上以象牙饰之，故云牙旗。”
由此可见，“衙门”最早是军旅中的称谓，后来逐渐移为朝廷官署所使用。如宋朝司马光等人纂修之《类篇》上载︰“古者军行有衙，尊者所在，后人因以所治为衙。”
此外，古代的衙门为了显示出气派、威严，大门多开六扇门。所以，后来也以六扇门代指官府、衙门。关于衙门的谚语有“衙门六扇开，有理无钱莫进来”、“衙门八字朝南开，有理无钱莫进来”、“衙门深似海”等。