华野在孟良崮战役中阵容强大，出动了27万大军，而将领在淮海战役中的出动还多。向延安、山东两个方向发起重点进攻。1947年5月，山东战场上，陆军总司令顾祝同在徐州设立指挥部统一指挥，集中24个整编师为3个机动团，总兵力45万，向我军所在的山东根据地发起进攻。是华东野战军所在地。
此战，国民党军主力是汤恩伯率领的第一兵团，有8个整编师，共20个旅，20万兵力。号称五主力之首的整编第74师也在其中。但张灵甫并没有听从汤恩伯的命令。他急于建功，违反了战前加强纵深、密集逼近、稳扎稳打、逐步推进的战术。他率领整编后的第74师独自深入，追击华野。一次次的撤退，将领各级都屏住了呼吸，最后粟裕终于下定决心，将整编的第74师全部歼灭。
其实在粟裕出兵的时候，张灵甫就意识到了粟裕的举动，但他认为这是一个好机会，想以整编第74师为诱饵，吸引华野的主力，最后等到了国民军主力前来救援，将华野全部包围。张灵甫的想法得到了蒋介石的认可，因为当时张灵甫附近有超过40万的国民党军队。最近的不到十公里，最远的也有两三天的路程。
1947年5月12日凌晨，粟裕在敌重集团军密集逼近的情况下，做出了从前线中心切割歼灭整编第74师的部署：以第1、第4、第6、第8、第9纵队和特战纵队为主攻；第2、3、7、10纵队用于阻挡支援；此外，还动用地方武装从四面八方牵制敌人，沿临沂、临台公路袭扰消灭敌人后方。
此战，华野派出了非常豪华的阵容。在攻击整编第74师的5个步兵纵队中，第一纵队、四纵队、六纵队、九纵队是华野进攻能力最强的四个单位。他的战斗经验非常丰富。华野派来的将领一家也非常豪华。陈士渠、叶飞、魏国庆、何以翔、陶勇、王必成、程军、王嘉楠、许世友、宋时轮、聂凤智、陈瑞廷等将领均出动。后来，淮海战役中由于种种原因，将领出动的次数就没有那么多了。
战斗伊始，粟裕调集华野第1、4、8、9纵队从74师两翼楔入。并封锁两师。与此同时，此前潜伏在鲁南的华野“飞越长空”，日夜兼程赶往多庄（张灵甫74师背后的基地），彻底完成了对74师的合围。第10纵插进新泰阻击第5军，第3纵插进蒙阴以北攻击第11师，第2纵、第7纵在左侧阻击第7军、第48军，其他地方部队拼尽全力阻击国民党军队的增援。士兵已经所剩无几，他心里知道，这是一个非常冒险的举动。
庆幸的是，当时国民党军队虽然人数众多，但国军内部的派系斗争却十分激烈。战斗开始后，除了黄百涛、胡连和将领几人拼命支援之外，其他部队尤其是中央军都站在原地，看着整编的第74师和华野最精锐的5个纵队拼命战斗。华野花了足足三天的时间，才将国军第一主力全歼，张灵甫也被干掉了。