他的母亲孔老太太孔融的女儿这时还健在，她劝羊祜，“在朝为臣有举荐贤士之责，然，贤士不以金帛求取仕途反之，均为利己人尔。你要净心拭眼，不可贻误朝纲。”

羊祜这才顿开茅塞，对举荐人才分外心，对于那些猫头鼠眼，不坏善意的势利人，一概拒之门外对那些贤士人才，他会拼力举荐，凡是他所荐拔的人，都不知荐拔人是谁。

羊祜的女婿劝羊祜，“购置些田产家业，也好卸官后有所归宿，后事有所依托，这样不是很好吗？”

女婿的话，听上去，没有什么错，羊祜无话可，但是，当时在场的姐姐景献皇后羊徽瑜反驳，“这种法是不对的。作为人臣，经营私业就违背公事，这是很糊涂的做法，你们不应有这种想法。”

羊祜讨伐孙吴有功，应当增封爵位与封地，于是请求皇帝将自己应增的爵位封地赐给舅父的儿子蔡袭，于是晋武帝下诏封蔡袭为关内侯，食邑三百户。

…………

同年冬十二月，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口，羊祜没有派兵进行追击。事后，晋武帝派人追查原因，并打算移徙荆州的治所。

羊祜，“江夏离襄阳八百里，等知道吴贼侵犯的消息，贼已离去几了，再派兵去，哪能救护百姓呢？让军队来回奔波，只图不受责备，这样做恐怕不合适。从前魏武帝设置都督，大致都与州府接近，因为军队宜聚合而忌分散。国境线上一方是敌，一方是我，认真守住边界就算了，这是古代人有益的教诲。如频繁迁徙州府所在地，敌人出没无常，很难确定州府应设在哪里。”

使者也无法责问羊祜了。

…………

咸宁四年278年八月，羊祜染病，请求入朝。返回洛阳正逢姐姐景献皇后羊徽瑜去世，羊祜十分悲痛，病情更加严重。司马炎下诏，命他抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。

后来羊祜病重不能入朝，晋武帝专门派中书令张华前去咨询方略，羊祜对张华，“吴人暴政已到极点，此时伐吴可不战而胜。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗”

张华很赞赏羊祜的主张。

羊祜又对张华，“能实现我这个愿望的是你啊”

司马炎打算让羊祜卧病统领征吴诸将，羊祜，“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊关于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”

同年十一月羊祜病逝，享年五十八岁，并在临终前举荐杜预自代。

…………

羊祜死后，举皆哀。司马炎亲着丧服痛哭，时值寒冬，司马炎的泪水流到鬓须上都结成了冰，追赠羊祜为侍症太傅，持节如故。

荆州百姓在集市之日闻之羊祜的死讯，罢市痛哭，街巷悲声相属，连绵不断吴国守边将士也为之落泪。可惜羊祜无子，以兄发子篇奉祜嗣。

晋灭吴的战争结束了汉末以来长期的分裂割据状态，使中国重归一统。羊祜虽然没有亲自参加这次战争，但他为规划、准备这场战争作出了不可磨灭的贡献。

羊祜死后二年，杜预按羊祜生前的军事部署一举灭吴，完成了统一大业，当满朝文武欢聚庆贺的时候，司马炎手举酒杯，流着眼泪，“这是羊太傅的功劳啊”。