吕调阳自幼好学聪颖，6岁便离家读书。还在少年时便是当时名扬广西的小秀才。嘉靖十三年(1534)，18岁的吕调阳乡试中举。嘉靖二十九年(1550)，吕调阳自廷试高中一甲第二名后，初授翰林编修。嘉靖三十五年，出任会试分校官，此后父母双双去世，他回乡守丧。直至嘉靖四十二年，才重回翰林院，任国子监北京富家女胡雅捷司业。
隆庆元年(1567)后，吕调阳先后出任南京、北京国子监祭酒。国子监历来是教育管理机关和传授思想的国立最高学府，其中最重要的礼仪就是手捧酒杯对天祭祀，所以国子监的主管被命名为祭酒。国子监简称国学，又称大学。吕调阳在任时，重视道德教育，抛弃传统的注入式，代之以启发式，并能以身作则。这年冬天吕调阳先后任礼部和吏部侍郎，不久升吏部左侍郎，相当于今常务副部级官员。
元年(1573)，明神宗登基。皇帝仅10岁，大权由内阁代理。同年6月，吕调阳受当时任内阁首辅的举荐，以礼部尚书兼文渊阁大学士入内阁参与机要政务。至此，吕调阳为内阁次辅协助首辅张居正进行改革。
他以稳重不争名震朝野，深得神宗器重，神宗尊称其为“先生”，从不直呼其名。至吕调阳去世时，官衔已为光禄大夫、柱国太师;万历元年晋太子少保、武英殿大学士，同年11月晋太子太保;万历四年10月，晋太子太傅、吏部尚书;万历五年2月，又晋为建极殿大学士。1580年去世，谥“文简”。吕调阳去世那一天，神宗“辍朝一日”，下令全国致哀一天。
张居正给吕调阳极高的评价，赞誉他是当代的丙吉(西汉丞相，以宽松和谐，自己有贡献有成绩而不张扬著称)，称赞他“公质行长厚，余独心服其在政府，断断乎有古大臣之风”，“在汉丙吉，今也则公”。