羊祜，字叔子，山东费县人。他出生在一个显赫的官宦之家，母亲系出名门，是汉末文化巨人蔡邕的女儿。曹魏末期，朝廷上两大势力对峙。一是以曹爽为首的曹氏集团，一是以司马懿为首的司马氏集团。当时曹爽要他出来做官，然而，羊祜已看出曹爽不是司马懿的对手，于是委婉地拒绝了。后来，曹爽被司马懿诛杀，羊祜的老丈人夏侯霸因与曹爽亲近，不得不投到蜀汉避祸。在这种时候，羊祜不仅没有和夏侯霸断绝关系，相反，对夏侯霸留下的家眷比以前照顾得更好。
魏末，司马昭以朝廷的名义征召他，拜黄门郎(皇帝近臣，应对顾问)。羊祜在朝中处事公平正直，不搞亲疏，不结派，因此，在司马氏代魏前，他被司马炎安排掌管御林军。这时的羊祜，已经成为司马氏集团的核心成员。公元265 年，司马炎终于给曹魏政权画了句号，受禅称帝。司马炎称帝后，因羊祜帮助他当上皇帝的功劳大，封羊祜为郡公。司马炎素有灭吴统一中国的大志，于是任命羊祜为荆州各路军马的都督。羊祜任荆州最高长官后，加强战备，羊祜初到荆州时，军无百日之粮。垦田之后的两三年间，所收粮食可供 20年之用。
然而，吴国名将陆抗，终于让一帆风顺的羊祜遭受了一次挫折。陆抗是曾大败过刘备的东吴名将陆逊的次子，是个了不起的军事家。得知步阐要降，陆抗立即领兵攻打。晋武帝下诏命羊祜去救步阐。羊祜接到命令后，率领5 万人马从江陵出发，派荆州刺史攻打陆抗。未攻下陆抗，大败而归。官员立即上表弹劾羊祜，说他统领的军队有 8 万之多，而对方不过 3 万，因此，羊祜应免官。奏书上去后，羊祜被降为平南将军。
羊祜这次受挫，让他清醒地认识到，吴国有陆抗这样优秀的将领，军事力量还很强大，于是，羊祜占据险要之地，筑了 5 座城池。同时，他密令深谙水军之道的益州刺史王浚打造战船，作好顺流伐吴的准备。在怀柔政策上，羊祜和吴国交兵，总是事先讲定作战时间，绝不搞突然袭击。羊祜领兵到吴地收割庄稼，但不白拿，总以相应的绢作抵偿。羊祜这样做的结果，使吴人尊称他为羊公。
羊祜和陆抗两位敌对的统帅还建立了良好的私人关系。他们之间常有书信往来。陆抗很尊重羊祜，认为羊祜的才德，就是乐毅、 诸葛亮也未必能超过。陆抗生病，羊祜得知病情后，立即送来药。部下劝陆抗不要吃，担心有毒。陆抗说，羊祜岂是那种害人的人，坦然将药服下。
在做好充分的备战工作后，羊祜上表晋武帝，请求伐吴。然而，当时晋国正遭受北方敌国的侵扰，伐吴之事只得作罢。羊祜离开襄阳回朝时，已经染病，晋武帝给了他很高的礼遇，让他可乘轿进殿。后因其病重，要他不必入朝，他借机对晋武帝说，吴主孙皓残暴，已丧失了民心军心。若失去这个机会，孙皓一旦死了，吴国换上有作为的新主，那时再来灭吴就会很困难了。武帝同意羊祜所言，并希望他能带病指挥。羊祜说，灭吴不一定要我亲自指挥。
羊祜推荐杜预代替自己。公元278 年，羊祜因病逝世，享年 58 岁。当天正值大寒，晋武帝身着素服痛哭，流到胡须上的眼泪竟结成了冰。百姓闻其逝世，皆罢市，四处哭声一片，民间奉羊祜为“战神”和“药神，香火不断。羊祜逝世两年之后，杜预率军灭掉吴国。庆功会上，晋武帝流着泪说：能够灭吴，是羊太傅(羊祜官至太傅)的功劳啊!