抗战期间，杀妻出狱后的张灵甫参加了南京保卫战、徐州会战、武汉会战、上高会战、长沙会战等重要战役。血战南京时，张灵甫曾组织敢死队反击，被日军打成重伤，膝盖严重骨折，后来人称他是“跛腿将军”。
抗战胜利后，张灵甫升任74军中将军长兼南京卫戍司令，被称为御林军统领，是蒋介石的心腹爱将。1946年，第74军改编为整编74师(军)，辖整编51旅、57旅、58旅共3万余人，张灵甫被任命为师长。
解放战争开始后，1947年3月底，蒋介石下令国民党以24个整编师、45万人，开始向山东解放区发起大规模进攻。此时，对老蒋愚忠的张灵甫急于抢头功，他率美械装备的整编74师甩开两翼掩护部队，孤军深入，由垛庄经孟良崮西麓向我华野展开进攻。
1947年5月16日，我华东野战军5个纵队，遵照陈(毅)粟(裕)首长的命令，于下午2时对张灵甫的七十四师发起总攻击。3天里，全部美式装备的整编74师3万余人全部被我军全歼，张灵甫当场战死。
张灵甫战死后发生了一事，粟裕指示：要妥善安葬。下葬前，还给张灵甫换上了解放军的军服。
在激战时，我军经过激战后登上了孟良崮主峰七十四师指挥所。在洞外，我军喊话：“赶快投降，缴枪不杀!”但是七十四师指挥所洞内无动静。随即，我军部队用轻机关枪、汤姆冲锋枪及手榴弹，向洞内射击。过了一会儿，洞内有人喊叫：”哎呀!你们不要打了，张师长被你们打死了。我们投降!”
听到敌人投降的声音后，我军将士进去一看。只见：七十四师指挥所内的张灵甫，他头朝东、脚对西，卧在地，胸部弹痕累累，军装破污，张灵甫战败身亡了。
孟良崮战役结束后，打扫战场的第6纵队特工团遵命将张灵甫的遗体连夜抢运下山。对张灵甫之死，陈、粟等华东野战野首长们，表现了极大的人道和宽容，陈毅和粟裕明确指示：第6纵队要将张灵甫妥善安葬。
张灵甫战死后，发生了一件令人称赞的人道之事，就是对他进行了厚葬。当时，担任华野6纵副司令员皮定钧和政治部副主任谢胜坤一同主持了“张灵甫下葬”仪式。下葬前，谢胜坤花1000元钱，购买了一口4寸厚的楸木棺材。我军战士还给张灵甫洗脸，洗伤口，洗得干干净净，整理了他的容貌。
由于张灵甫战死时，军服破污不堪，在下葬时，又找不到国民党的将军服，于是我军就给他换了一身崭新的解放军军装，张灵甫是身着解放军的军服下葬的。
掩埋张灵甫前，被俘虏的整编74师将校得到了允许，参加了下葬仪式。当时，被俘的一个国军少将旅长和几个上校提出：“想最后看一眼师长张灵甫的遗容，恳请批准。”皮定钧首长对此说：“这些人跟着张灵甫，现在都当了俘虏了，还要看看他的遗容，这感情是难能可贵的。”当即同意了。这几个国军将校得到批准后，颤抖着走到张灵甫的遗体旁，他们围成半月形，跪下后，痛哭流涕。
张灵甫被安葬好后，我方战士还在他的坟前还竖了一块木头牌子，上书“张灵甫之墓”几个大字，当时解放区的报纸还专门报道了此事。