中国最早建立武庙是在唐玄宗时期(公元731年)，那个时候还叫“太公尚父庙”，主神是姜子牙，张良是副祀，之后是历代十位名将，也称为“武庙十哲”。他们分别是白起、韩信、诸葛亮、李靖、李勣、张良、田穰苴、孙武、吴起、乐毅。我们现在很熟知的三国人物里面，只有诸葛亮入选了武庙1.0版，关羽、张飞等人都落选了，只能做吃瓜群众，享受不到祭祀。
到了唐玄宗的儿子唐肃宗时期(公元760年)，唐肃宗尊姜太公为武成王，于是太公尚父庙改名为“武成王庙”，简称“武庙”。与“武庙”相对应的是拜祭孔子的“文宣王庙”，也就是“文庙”。
到了唐德宗时期的782年，在颜真卿的建议之下，古今名将的数量增加到了64人。在武庙扩招的大背景之下，关羽和张飞终于可以进入武庙享受香火。
一直到了明朝初年，武庙的主祀都是姜子牙。其中的武将，根据统治的需要有所变动。比如在北宋时，宋太祖赵匡胤视察武庙，把白起撤出了武庙，理由是他杀降太多，不武。到了宋徽宗时期，又把白起请回了武庙。
到了明朝朱元璋时期，朱元璋把姜子牙移到历代帝王庙配享，于是停止了武庙的拜祭。官方的武庙没有了，民间的武庙就开始兴起。明朝民间以拜祭岳飞的岳庙为武庙，换言之，这个时期的武圣是岳飞。
转眼就到了清朝，由于众所周知的原因，武庙里基本没有了岳飞。清朝廷全力推崇关羽，关帝庙便成为了清朝时的武庙。有清一代，对于关羽都是极为推崇的。到了大清已亡的民国初年，暂住紫禁城的太妃们还时常拜祭关公，祈求关公保护她们。满族人称关公为“关玛法”，即关爷爷的意思。当初，努尔哈赤等人熟读《三国演义》，并把《三国演义》当兵书来看。受到这本书的影响，他们把关羽当作守护神来拜祭。后来，他们也一路胜利并取代了明朝。
在清朝廷强力推广之下，加上原本民间对关羽的崇拜，到清朝中期时全国有30多万座关帝庙。大清灭亡之后，民国元年，当时的政府发布了“关岳合祀”命令，很多武庙、关庙重新请回岳飞，成了“关岳庙”。总的来说，经过这三百年，关羽已经成为了武庙的代表人物，岳飞失去了原来的地位。