“千牛卫”这个名字，始于唐代，正式名称为“左右千牛卫”。在唐代，“左右千牛卫”是大唐南衙“十六卫”中的两“卫”，不领府兵，专责“掌执御刀宿卫侍从”，是皇帝内围贴身卫兵。晚唐以后，随着“府兵制”的瓦解、“南衙十六卫”的衰败，“左右千牛卫”也逐渐变得徒有虚名，变成了虚衔的一部分。五代、宋、辽、金，皆是如此。
唐代禁卫军分为南、北两衙，左右千牛卫是南衙卫兵。
南衙卫兵就是“十六卫”，是国家军队。 唐朝实行“府兵制”，在“南衙十六卫”中，除左右千牛卫和左右监门卫不领府兵、只负责警卫外，前“十二卫”都遥领全国府兵。
北衙禁军由“北门屯营”逐渐发展为“北衙六军”等，其中最为有名的一支就是“羽林军”。北衙禁军是皇帝私人军队，是“募兵”，由皇帝亲信指挥。
南北衙禁卫军共同卫戍皇宫和京师，并相互牵制。但盛唐之后，“南衙府兵”逐渐衰败，“北衙禁军”逐渐成为中央政权的唯一依靠。
千牛刀
《庄子·养生主》说：﹝庖丁﹞所解数千牛矣，而刀刃若新发于硎。
于是，有一种帝王随身携带的防身御刀，叫做“千牛刀”，名字就是典出《庄子》，寓意“锐利可斩千牛”。
关于“千牛刀”出现的记载，较早可见于南朝刘宋。萧子显(萧道成的孙子，约公元489至537年)《南齐书》：“玉夫(杨玉夫)与其党陈奉伯等二十五人同谋，于毡屋中取千牛刀杀苍梧王(南朝宋“后废帝”刘昱)”。说的是一场著名的宫廷政变：南朝宋元徽五年(公元477年)七月七日半夜，杨玉夫和杨万年潜入仁寿殿，乘刘昱熟睡如泥时，用皇帝刘昱自己的千牛刀杀掉了皇帝。
千牛备身
北朝北魏的时候，出现了一种高级禁卫武官，他们除了负责皇帝的安全，还掌执御刀“千牛刀”，这种禁卫武官就是——“千牛备身”。
千牛卫
最初“千牛备身”出现的时候，似乎并没有一个专门的机构来统领这些武官。后来，北魏孝明帝中期出了“领左右”，很可能就统领着“千牛备身”。再往后，历朝历代统领“千牛备身”的机构名称不断变化，在唐高宗显庆五年(公元660年)称“左右千牛府”，到了唐中宗神龙元年(公元705年)，改为“左右千牛卫”。
这样看来，“千牛卫”，正是因为它统领着禁卫武官“千牛备身”而得名。