吕调阳自幼聪明好学，6岁便离家读书。嘉靖十三年(1534)，18岁的吕调阳乡试中举。嘉靖二十九年(1550)，高中榜眼，授翰林编修。嘉靖三十五年(1556)出任会试分校官。父母相继去世，吕调阳回乡守丧。直至嘉靖四十二年(1563)吕调阳才重回翰林，任国子监司业。隆庆年间，吕调阳先后出任南北两京国子监祭酒。因其曾从师于国子监祭酒、阳明学派学者“永康学”的代表程文德，遂以永康之学教授诸生。他在任时，重视道德教育，抛弃传统的注入式，代之以启发式，并以身作则。后又升任南京礼部侍郎。隆庆五年(1570)充会试考官。
万历元年(1573)，受张居正的举荐，吕调阳以礼部尚书兼文渊阁大学士入内阁参预机务，协助首辅张居正进行改革，以稳重不争受到神宗的器重。先后加官晋衔，直到他去世，官衔已为光禄大夫、柱国、少傅兼太子太傅、吏部尚书、建极殿大学士。赠太保，谥文简。
吕调阳十分注重道德修养，性尤淡泊。身上穿的虽是蟒玉之服，为了洁净也经常洗涤。每次为穆宗侍讲经筵之前，他必先作斋戒沐浴，以示虔诚肃穆，讲解时引经据典，切规时政，从不故弄玄虚，夸夸其淡。
吕调阳深谙大明朝典章礼仪，加入内阁后，成为国家重大事务的礼仪主持人之一。“若大丧，若大婚，若崇祭，若荐号，若降夷、受俘，诸臣仪旷典事，咸籍公相成以当上心。”
吕调阳身处腐败官场，而始终保持一身正气，“门无私谒”。他为国家办事，有成绩从不炫耀，也不愿意听别人对他歌功颂德。“所树惟恐见知，所急惟恐见德，”“人故无所藉以颂公”。他去世后，张居正认为他就是当代的丙吉(西汉丞相，以宽松和谐，自己有贡献而噤口不说)称赞他“公质行多长厚，余独心服其在政府，断断乎有古大臣之风”。“在汉丙吉，今也则公”。
吕调阳在明王朝没落的官场之中，是一个不倒翁，他历仕三朝，职务只升不降。他在发迹的嘉靖年间，有大奸臣严嵩父子柄权，吕调阳却能鹤立鸡群，不随浮沉，靠的是持正不偏，不胁肩谄媚，靠的是自己手脚干净，严嵩也曾想拉拢他，但他“固谢不往”。万历年间，内阁高拱与张居正间的斗争也十分激烈，但吕调阳辅佐张居正改革而不为政敌所忌刻，他先于张居正致仕还乡，急流勇退，从而避免了张居正死后被政敌攻讦而遭受的抄家之祸。所以后人论述这段明史，说吕调阳是“识时务的俊杰。”做到了“律吕调阳”。