武元衡字伯苍，河南缑氏人。曾祖父武载德，是武则天的堂兄弟，官吏是湖州刺史。祖父武平一，善于写文章，死时官吏是考功员外郎、修文馆学士，事迹记载在《逸人传》。 武元衡少时天资聪颖，才华横溢。建中四年(公元784年)，参加科举考试，因诗赋文佳，金榜题名，位列进士榜首，后任华原县令。德宗李适曾召见元衡，很欣赏他的才能，赐他担任中央官吏中的要职——比部员外郎。因工作出色，一年内连升三级，官至左司郎中，可参政议事，发布号令。贞元二十年(公元804年)，武元衡迁升御史中丞，掌监察执法、受公卿奏事、举劾案章之事，常与德宗咨议国事，德宗称赞：“这人真是有宰相的才能啊!”
永贞元年(公元805年)正月，顺宗即位。社会矛盾尖锐、政治出现危机。改革派(二王、刘、柳)王叔文派人游说元衡加入朋党，他婉言谢绝。安葬德宗时，元衡担任山陵仪仗使。监察御史刘禹锡(革新派主要人物)请求充当仪仗判官，因元衡与叔文不和，拒不答应。王叔文等怀恨在心，肆意诽谤，将元衡罢职，改任太子右庶子。顺宗只坐了一年皇帝。第二年宪宗李纯即位，感念元衡忠君伺主，再次迁升元衡，任中丞、户部侍郎。元和三年(公元808年)，拜门下侍郎同中书门下平章事，兼户部事务。唐宪宗素知元衡清廉正直，对他信任有加。当时，藩镇割据，威胁中央，浙江节度使李锜请求朝觐，既而又迟迟不行。宪宗征询元衡与宰相郑絪。郑絪主张任其自便，元衡主张催李锜兼程进京。李锜反叛，月余被平。 元和二年(807年)，行营都统高崇文平蜀乱后把蜀地军用物资、库内金帛、帷幕承尘、歌伎舞女、能工巧匠等搜罗一空。武元衡到任，百姓怨声载道，武元衡制定规约三年民殷府富，蜀地少数民族纷纷归服。期间武元衡发现裴度才能，调为掌节度府。武元衡接替高崇文主政西川。元和八年(公元814年)，治蜀七年的武元衡还朝，仍拜门下侍郎平章事。当时宰相李吉甫、李绛不和，不断争吵，元衡对二人不偏不向，宪宗称赞为忠厚长辈。元和十年，淮西节度使吴元济谋反，宪宗委任武元衡统领军队对淮西蔡州进行清剿。引起与淮西勾结的成德节度使王承宗、淄青节度使李师道等割据势力的恐惧，决定刺杀武元衡等主战派大臣，以救蔡州。李师道及其募僚认为：“天子专心一意地声讨蔡州的根由，在于有武元衡辅佐他，请让我秘密前去刺杀他。如果武元衡死了，其他宰相不敢主持讨伐蔡州的谋划，就会争着劝说天子停止用兵了。”
元和十年(815年)六月三日，报晓晨鼓敲过，天色未明，大唐宰相武元衡即启门户，出了自己在长安城靖良坊的府第车门，沿着宽一百步(147米)的道路左侧行进，赴大明宫上朝，刚出靖安坊东门，被躲在暗处的刺客射灭灯笼遇刺身亡，同时上朝的副手裴度同样遇刺受伤。