权德舆为天水略阳人，后徙居润州丹徒。其家世源远，自十二世祖前秦仆射安邱公权翼以来，数代为宦。父亲权皋，曾为安禄山的幕僚，“安史之乱”爆发前，他当机立断，以逃离叛逆的义勇行为而受到时人的称赞。权德舆就出生在这样祖德清明家风雅正的仕宦家庭。
权德舆自幼聪明好学，“三岁知变四声，四岁能为诗”。十五岁有文章数百篇，开始有了名气。
建中元年(780年)，受辟为淮南黜陟使韩洄从事，官试秘书省校书郎。同年改任试右金吾卫兵曹参军。先为杜佑淮南水陆运环卫掾曹，继为汴东水陆运盐铁祖庸使包佶从事。
贞元二年(786年)，以大理评事、摄监察御史充任江西观察使李兼的判官。
贞元八年(792年)，入朝为太常博士，“朝士以得人相爱”，迁左补阙。当时，关东、淮南、浙西二十余州县发生大水，毁坏了良田和房屋，冲走了人家，他立即建议德宗皇帝派遣能干的使臣赶赴灾区，救济灾民，并提出“赋取于人，不若藏于人亡为固”的主张，以减轻灾区人民的赋税。同年七月，司农少卿裴延龄因巧幸恃宠，判度支，兼管国家财政收支。针对此情况，权德舆不顾个人的安危，先后两次上疏唐德宗，义正词严，直言不讳地反对裴延龄任职，陈述度支要职，个人必须慎重。
贞元十年(794年)，任起居舍人兼知制诰。后历驾部员外郎、司勋郎中、中书舍人，均掌诰命。
贞元十八年(802年)，以中书舍人典贡士，后拜礼部侍郎，转兵、户、吏三曹侍郞、太子宾客，迁太常卿。此期间，他大力选拔人才，主张“育才造士为国之本”，他“举贤类能”，不管门第等级，只要有德，一律任用，并反对徇私舞弊。他曾三次典士举，凡“举士于公者，其言可信，不以其布衣不用;既不可信，虽大官势人交言，一不以缀意”。在他的主持下，发现和造就了不少有用之才，“前后考第进士及庭所策士，唾相蹑为宰相、达官与公相先后，其余布处台阁外府，凡百余人”。
永贞元年(805年)七月，改户部侍郎。
唐宪宗元和(806年—820年)初年，历任兵部、吏部侍郎，因事被改授太子宾客，又拜兵部侍郎、太常卿等职。
元和五年(810年)，权德舆以“陈说谋略多中”，自太常卿拜礼部尚书、同中书门下平章事(宰相)，参与朝政。他为政以宽厚为本。
权德舆任相的次年，李吉甫和李绛又先后被拜为宰相。两人常为政事在宪宗面前争论。每当此时，权德舆总不表态，并因此而受到朝臣的指责，也引起了宪宗的不满。元和八年(813年)正月，权德舆被罢去宰相职务，任礼部尚书。旋即以检校吏部尚书任东都留守，又拜太常卿，转任刑部尚书。
元和十一年(816年)，又以检校吏部尚书出为山南西道节度使。
后因病求还，元和十三年(818年)八月二十七日(9月30日) ，权德舆在入朝途中于汉中洋县纸坊去世，享年六十岁。 [13] 朝廷追赠左仆射，谥号“文”。后人称为权文公。