公元263年，曹魏灭了蜀汉，两年后司马炎代魏自立，改国号 “晋”，史称西晋，孙吴成为魏蜀吴三国中，最后一个幸存政权。西晋建立后，占有广大北方及巴蜀地区，统治区域辽阔，政治稳定，军事力量强大，大有统一全国之势。晋武帝司马炎素有吞吴之志，更积极筹划消灭孙吴政权的战争，以实现自己统一天下的大业。而此时的孙吴，吴主孙皓即位后，残暴骄盈、沉迷酒色，逼杀太后、大杀宗室，更大修宫室、广选美女、滥杀大臣，使得孙吴国内士民怨声载道。泰始五年(269年)，司马炎除任命大将军卫瓘、司马伷分镇临淄、下邳，加强对孙吴的军事布置以外，又特地调任羊祜为荆州诸军都督，假节，命其在防地积极备战以便攻吴。
羊祜，字叔子，出身于汉魏名门士族之家，其家族成员多任显官，且都以清廉有德著称。其母亲蔡氏是汉代名儒、左中郎将蔡邕的女儿，姐姐嫁与司马懿之子司马师为妻。羊祜长大后，以博学多才、善于写文、长于论辩而有盛名于世。而且仪度潇洒，身长七尺三寸，须眉秀美，并娶夏侯霸之女为妻。曾拒绝曹爽和司马昭的多次征辟，后为朝廷公车征拜为中书侍郎。晋代魏前夕，司马炎调羊祜为中领军，统领御林军，兼管内外政事。司马炎受禅称帝后，羊祜因拥戴有功进号为中军将军，加散骑常侍，进爵为侯，食邑三千户。为早日完全一统天下的大业，司马炎命羊祜为荆州诸军都督，假节，命其在防地积极备战以便攻吴。羊祜到任后，大量开办学校，兴办教育，安抚百姓，怀来远人，又训练军队、积极备战。在之后的十年里，羊祜屯田兴学，以德怀柔，深得军民之心;一方面缮甲训卒，广为戎备，做好了伐吴的军事和物质准备。
此时的孙吴虽然是昏君孙皓在位，但与羊祜隔江相对的却是孙吴名将陆抗。泰始八年(272年)十月的西陵之战中，陆抗以三万之众大败西晋八万大军，羊祜因战败被贬为平南将军(后又升任征南大将军)。西陵之败让羊祜意识到，吴国国势虽已衰退，但仍有一定的实力，加之有名将陆抗在侧，一时难以攻伐，于是改对吴军采取怀柔政策，以积蓄实力瓦解对方，寻找灭吴的合适时机。也许是孙吴气数已尽，被誉为东吴最后名将的陆抗于公元274年秋天病逝，时年仅四十八岁。陆抗死后，吴国再无良将。羊祜不失时机的上疏请求伐吴，奏疏虽然得到了司马炎的肯定，却遭到朝内其他大臣的强烈反对。咸宁四年(278年)秋，病重的羊祜入朝，再次上疏请求伐吴，并在临终前举荐杜预自代(同年冬天羊祜病死于洛阳，年五十八岁)。
羊祜死后，司马炎亲着丧服痛哭，追赠羊祜为侍中、太傅，持节如故。之后由于杜预的几次上书，司马炎终于下定决心，发兵攻打孙吴。咸宁五年(279年)十一月，晋武帝调集大军二十多万，命杜预、王濬等人兵分六路，水陆齐进，大举进攻东吴。咸宁六年(280年)三月，西晋舟师沿江而下抵达石头城下，吴主孙皓自知大势已去，开城投降，东吴遂亡。当满朝文武欢聚庆贺的时候，司马炎手举酒杯，流着眼泪说：“这是羊太傅的功劳啊!”。羊祜死后无子，晋武帝命其兄羊发之子羊暨继嗣，羊暨以父亲已死为由抗命，又命羊暨弟羊伊继嗣，但羊伊以未得生父之命为由不为羊祜服丧，最后由羊发第四子羊篇袭爵为钜平侯，成为羊祜的继嗣。