1948年华东野战军山东兵团有过两次进攻兖州的作战。
事实上整个1948年是解放战争时期最关键的一个年份，不仅标志着我军从战略防御逐渐转向战略进攻，蒋介石所部国民党军在各大战场上也逐渐开始捉襟见肘，为此不得不拆了东墙补西墙。
华东野战军山东兵团在1947年8月分兵以后，主要负责在山东战场作战，由于范汉杰率领7个整编师密集推进，一度局势危殆，整个胶东地区也差点丢失，不过随着蒋介石抽调部分部队支援中原战场以后，山东兵团面临的困局得到了缓解，连续发起几次战役，均收获了不菲的战果，直至1948年夏，国民党军龟缩济南、青岛等城市做重点防御。
为打通与鲁西南地区的联系，上级指示山东兵团沿着津浦铁路重点，由北向南，逐步进攻，威胁徐州。在主力部队解放泰安等周边地区以后，以一部兵力楔入第2与第10绥靖区的结合部，并包围兖州，伺机吸引徐州国民党军北援。
兖州守军为国民党军第10绥靖区整编第12师，师长霍守义，该部原先是隶属于东北军第57军，1941年57军番号撤销以后，所部两个师改与暂编第55师合编暂编第九军，直至1944年才改编为番号第12军，由于蒋介石对非中央军嫡系一贯采取打压态度，当时的东北军群龙无首，基本上大部分都被肢解，只有少数原东北军嫡系部队，尚且保存建制。
第12军（整编第12师）就是其中为数不多的一支，事实上1948年6月山东兵团兵围兖州以后，霍守义确实感到了惊慌，并迅速向绥靖区请求援军，不过由于第一次兖州作战，主要是为了吸引徐州国民党军北援，因此当徐州方向的援军出动以后，包围兖州的山东兵团7纵就立刻撤围，与友邻部队配合打援。
直至豫东战场上区寿年兵团被围后，负责驰援的整编第25师被派往豫东战场上，鉴于兖州地区国民党军兵力空虚，加之其在津浦铁路上的特殊地位，山东兵团决心拔掉兖州这颗钉子，以成均率领的第7纵队并协同指挥周志坚的第13纵，并协同地方部队共计45个团的兵力，负责攻打兖州。
兖州守军整编12师此前作战中就有不少的损失，事实上建制已经不全，连通兖州地区配合作战的地方保安团，一共也只有12个团2.8万人左右，当然最困难的地方，并不在于兵力，而是在于兖州本身城高墙厚，国民党军在此地驻扎时对城墙多有修缮，部分突出的地方更是采用了花岗岩和水泥构筑，第10绥靖区司令李玉堂称兖州为“天下第一堡”。
为了克服兖州城高墙厚不易攻取的情况，山东兵团各纵队决心采取一面登城的做法，以兖州城西为主要的突破口，只在城北留下了少量监视的兵力。战斗一开始双方便立刻陷入白热化，整编12师整体战斗力虽然不是最强，但在诸多杂牌中，依然算是精锐，我军打开的突破口，竟然几次又被封死，更为严峻的是，吴化文率领的整编96军自7月1日就已经驰援兖州。
为了加快速度，攻城部队遭炮火掩护下，多路突破城防，整编12师师长霍守义情知守不住，带着师部紧急撤离，于半途中被俘，兖州一战，不仅全歼国民党守军整编12师2.8万余人，还顺道扩大了战果，解放了兖州周边地区，取得了歼敌5.3万人的光辉战绩。