1947年5月初，汤恩伯召集将领在临沂开会。会上，张灵甫态度跋扈，不把众人放在眼里。会后，汤恩伯对黄百韬说：“我的话张师长是不听的。”
张灵甫之所以如此狂妄自大，是因为他身上的光芒确实耀眼。首先，张灵甫是“抗日名将”，无数战功令其拥有旁人不可比拟的优势。
抗战初始，他就担任第74军的一个上校团长，参加了著名的“八一三”淞沪会战，后来又在徐州会战、武汉会战、上高会战以及第二次、第四次长沙会战中有突出表现，令日本鬼子及二鬼子们闻风丧胆，成为威震海内外的虎将。
其次，张灵甫手底下兵力最为雄厚。他整编七十四师的兵员足有三万多人，比许多军的兵力还要多。不仅如此，74师更是列装了清一色的美式武器，被外界誉为国民党部队的“五大主力”之一。
再者，张灵甫深受蒋介石信任及宠爱，特别是不久之前，他被确定为“陆大将官班”的学员，进一步提升的前景极为广阔，可谓春风得意马蹄疾。
山东地区濒临渤海、黄海，工业农业发达，地理上贯通南北，自古是兵家必争之地。蒋介石非常重视与解放军争夺该地区，多次亲自对汤恩伯作出“重要”指示。
1947年5月初，陈毅、粟裕等率领解放军开始重点对山东的国民党军队发起进攻。汤恩伯不敢怠慢，召集第一兵团所有将领齐集临沂，部署作战策略。
汤兵团是个超级兵团，辖八个整编师（军），有二十万之众，作为职位最高者，汤恩伯专门卡着会议时间来到开会地点，其他整编师师长也都早早地到会等待，却唯独不见整编74师师长张灵甫的身影。
直到好几分钟过后，张灵甫才不紧不慢地赶来，他也不对汤恩伯解释什么，进来后直接坐下，这令后者大为不悦。
更加过分的是，在汤恩伯讲话的时候，张灵甫数次打断，毫不客气地发表相反意见。其他人尴尬地你看看我，我看看你，也不好说什么。
汤恩伯虽然生气，但自知张灵甫实力雄厚，与他当众闹掰的话，怕是收不住场面，因此只得暂时忍气吞声。
为了抵御解放军的进攻，汤恩伯将八个整编师分成了三路纵队，每个纵队的司令官，由资历深的整编师长担任。整编83师、整编25师、整编74师被编为第一纵队，由整编83师师长李天霞担任纵队司令。
客观来说，汤恩伯的安排合情合理，李天霞无论在年龄，还是资历上都大于张灵甫，更何况李天霞还当过张灵甫几年的顶头上司，李在担任旅长的时候，张还只是补充团团长。
可是就是这个纯粹正确的军事部署，事后还是出了乱子。张灵甫根本不听李天霞的，甚至还对他的一些命令冷嘲热讽。
李天霞无奈，只得前来找汤恩伯，撂挑子说自己干不了了。汤恩伯劝慰了半天，依然无效，只得同意了李天霞的要求。
送走了李天霞，汤恩伯在快速思索着怎么面对这个情况。想来想去，他找到了整编25师师长黄百韬，表达了让其担任第一纵队司令官的想法。
黄百韬可不傻，李天霞都干不了的活，自己何德何能能够接的了手呢？因此头摇的跟拨浪鼓一样，总之一百二十个不愿意。
“我的话张师长是不听的。可是大敌当前，必须以大局为重啊！”汤恩伯叹着气对黄百韬说道。
看到汤恩伯确实有难处，联想到汤平日里对自己不薄；再说就这三个整编师，李天霞确定不干了，如果自己不干，要是张灵甫当司令官只会更麻烦，黄百韬最终还是接下了这个“烫手的山芋”。
果然，黄百韬预计的没有错误，在接下来的作战协同中，张灵甫一贯我行我素，根本不把他放在眼里。
一次的战前碰头会上，黄百韬向张灵甫传达了上峰的意思，强调解放军来势汹汹，用兵时一定要慎之又慎，否则后果不堪设想。
“怕什么？只要控制了胶济线，其他事情有什么大不了的！”还没等黄百韬说完，张灵甫就脱口而出。
事实上，当时国民党部队接连打了好几个败仗，而解放军方面气势震天，有万夫不当之勇。
明眼人都看的出来，解放军阵营中有高人在指挥，可是张灵甫就是不把粟裕看在眼里，也听不得任何反对意见。
生气归生气，等到张灵甫再一次做出了错误的决策时，黄百韬还是不能见死不救，他坦承地提出了自己的看法，可是再一次被坚决拒绝掉。
面对这个情况，黄百韬叹了口气，自己该做的都已经做完了，至于之后的情况就听天由命吧。
终于，1947年5月16日，张灵甫率领全师在孟良崮一带被解放军合围，周围友军也全被解放军堵住了前来救援之路。
“校长带我们不薄，为今之计，只有以死来报效党国。”这是张灵甫在一个山洞中下达的最后一个命令，不是令身旁的高级军官拼死抗争，而是全部自杀殉国。
张灵甫扣动随身携带的手枪的扳机，打中了太阳穴，结束了年仅44岁的生命。（也有说法是，张灵甫被我军击毙在其指挥所山洞里。）
解放军在孟良崮战役中大获全胜，不仅全歼了国民党整编七十四师，还缴获颇丰，巩固了山东的形势，为后续开始的全面反攻打下了坚实的基础。