1948年9月24日，当济南战役的硝烟还在四处弥漫，城内巷战仍在激烈进行时，华东野战军代司令员兼代政委粟裕便发电报给中共中央军委，“建议立即发起淮海战役”。中共中央军委经过反复慎重考虑，于1948年9月25日复电粟裕，表示同意他的建议：“我们认为举行淮海战役，甚为必要。
中央军委起初对淮海战役所预想的规模并不大，根据“歼敌于长江以北”的指导思想，计划在济南战役取得彻底胜利后，以华东野战军为主，进攻并歼灭淮阴、淮安、宝应、高邮、海州的国民党军队，而主要目标为歼灭距离徐州较远的黄百韬第7兵团、李延年第9绥靖区，为夺取徐州做好准备。
1948年10月11日，毛泽东电告华东野战军，提出了淮海战役第一阶段的设想:第一歼灭黄百韬兵团，占领新安镇、枣庄、临沂等地，同时，中原野战军对郑徐线发起攻击，牵制国民党军孙元良兵团，以减轻华野阻援的压力。
解放军中原野战军奉军委命令积极作战，以极小代价就占领了河南郑州、开封，与此同时，刘伯承、李达所部也果断出击，牵制住了华中地区国民党军张淦三兵团、黄维十二兵团，迟滞了他们向徐州战场的东调。于是中央军委根据战场形势的发展，决定立刻调整原先制定好的淮海战役部署。
1948年10月27日，中野主力四个纵队根据中央军委统一部署，由郑州东进加入了淮海战场，他们受命捕捉战机相机行事，至此，原来设想的淮海战役已经发展为华东、中原两大野战军共同配合的一场大规模战役，于是粟裕提出请陈毅、邓小平统一指挥两大野战军作战，次日，毛泽东回电称“整个淮海战役统一受陈、邓指挥”
1948年11月6日淮海战役正式打响，解放军各部队快速向预定目标开进。国民党军徐州剿总总司令刘峙军事指挥能力平平，在淮海战役发起前，国民党军队在排兵布阵方面就已经处于下风，因此战斗一开始国民党军队就陷入被动及被分割攻击的不利态势。
战前刘峙遵从蒋介石之意，下令将徐州周边的国民党军部队全部向徐州收缩靠拢，然后再向淮河一线撤退。黄百韬第7兵团、李弥第13兵团接到命令后率部向徐州东郊撤退；经蒙城向蚌埠调动的孙元良第16兵团也经宿县北上退回徐州；邱清泉第2兵团向徐州西郊撤退，准备死守徐州。
当解放军发现国民党军正在向徐州大规模收缩兵力后，当即派出主力部队转入追击。黄百韬第7兵团因奉命等海州第9绥靖区的第44军一起西撤，因此撤退计划被打乱，第七兵团一直推迟至7日与44军会合后才开始向西开进。华东野战军借此延误，及时抓住战机，追上了正在抢渡大运河的黄百韬第7兵团，负责殿后的第7兵团第63军、第100军83师被大部歼灭。
黄百韬见势不妙，眼看就要陷入解放军的包围之中，他急忙向李弥第13兵团求助。但是连自身都难保的李弥怎么可能去协助黄百韬呢，只顾着自己逃命的李弥拿出刘峙命令，执意按计划回撤徐州，拒绝对黄百韬施以援手。
1948年11月8日，防守运河一线的第3绥靖区四分之三以上的国民党官兵，在中国共产党地下党员、绥靖区副司令官何基沣、张克侠率领下，在徐州贾汪宣布起义。之后，解放军得以迅速通过第三绥靖区的防区。11月10日，解放军先头部队、山东兵团主力，首先歼灭了黄百韬第7兵团进行西撤的先头师，切断了第7兵团退路。
万般无奈之下，黄百韬只得率领第7兵团撤往碾庄，这时国民党军第64军军长刘镇湘建议，依靠第原13兵团在碾庄留下的防御工事，足可与追击的解放军大战一场，如果可以坚守至援军到来，将解放军击退也并不是没有可能，就这样黄百韬的第7兵团最后决定全力迎战解放军。然而解放军主力部队的行军速度大大超出黄百韬的预料，在一日之内，华东野战军三个纵队的强大兵力，就攻占了碾庄与徐州之间的曹八集等各据点要道，11日，华东野战军将黄百韬第7兵团的十万之众彻底合围于碾庄地区。
黄百韬被围的消息令蒋介石大为震惊，自11月13日起，蒋介石严令徐州国民党军邱清泉第2兵团和李弥第13兵团协同攻击，全力解第7兵团之围。
面对敌人的重兵来援，粟裕命令华东野战军第7、第10、第11纵队组成一支强大的阻援兵团，由10纵司令员宋时轮、政委刘培善统一指挥，在侯集、林佟山至大许家地域，实行正面防御阻击徐州国军东援。
1948年11月19日，淮海战役第一阶段进入了最关键的时刻。此时华野用于包围黄百韬的兵力已经达到15万之众，黄百韬虽然是国民党军一名赫赫有名的战将，并且先前还多次击败过粟裕，但是此时却被解放军团团包围于碾庄动弹不得，在总攻发起前粟裕亲自向参战部队做了战前动员，还发表了如下讲话：
“黄百韬是很凶恶的敌人，他是我们华野的死对头。他是皖南事变的刽子手，我们有多少先烈倒在了他的屠刀下。他对山东、苏北人民也欠下了累累血债。同志们呐！千万死难烈士沉冤等待我们去洗雪。这么多年，什么时候想起来，心里就如刀绞，等待着这一天的到来！歼灭黄百韬，我们就给淮海大战的全局争取了主动权！”
粟裕的战前动员非常振奋人心，战士们更是喊出：“消灭黄百韬，报皖南之仇！向黄百韬讨还血债！”的口号。
原来在1941年皖南事变爆发时，黄百韬担任顾祝同的参谋长。就是在顾祝同的直接指挥下，国民党军8万大军将在皖南地区将奉命转移的新四军军部及直属的新四军9000余人团团包围，新四军军长叶挺被俘，项英惨遭杀害，新四军经过激战后仅有少量部队得以突围，几乎是全军覆没，而在国民党这次背信弃义的皖南事变中，作为参谋长的黄百韬可谓“居功至伟”，所有战术计划几乎全部由黄百韬一手策划。因此他的双手可以说是沾满了解放军战士的鲜血。
抗战胜利后，黄百韬率领的25师成为华野最为头疼的对手之一，其战斗力几乎可以与张灵甫的整编74师相媲美。黄百韬与其他大多数国民党将领不同，他从不考虑个人得失，每次打仗都极为卖力，甚至身先士卒。友军有难，更是全力以赴前去救援。
当张灵甫整编74师被困于孟良崮后形势岌岌可危，而附近的国民党其他部队为了保存实力均见死不救，唯有黄百韬率军不遗余力地试图为74师解围，因此他的25师付出了巨大的伤亡。
此后，黄百韬又相继在胶东战役、豫东战役，25师再次冠绝全军，胶东解放军被他连连挫败，难以遏制其锋芒。还没等胶东战役结束，黄百韬又被蒋介石调往中原，和刘邓大军交战，也取得了不俗的战绩。
其后，黄百韬在胶东战役、豫东战役中有着出色的表现，由此可见，25师虽非嫡系部队，但是战斗力相当强大。黄百韬频频立功，蒋介石亲自为他颁发青天白日勋章，还将他提升为机动兵团——第7兵团的司令，下辖广东军63、64军、100军以及重新整编为军的25军。在没有什么政治背景的情况下，黄百韬之所以能够步步高升，就是靠着在战场上一刀一枪慢慢积累起来的。
正所谓枪打出头鸟，淮海战役打响后，黄百韬成为粟裕的第一个优先打击目标。如果能够将其全歼，那么对其他国民党军队将会是一个巨大的震慑，对整个淮海战役将会产生巨大影响。
此时困守碾庄的黄百韬已然成为瓮中之鳖。粟裕率部对黄百韬展开四面围攻，在整整十天的时间里，黄百韬兵团的防御阵地已经丢了一半，他所统帅的4个军也已经被歼灭大半。而大军所需的食物和弹药，已经完全只能依靠飞机空投来维持。而蒋介石派来的援军却迟迟无法突破解放军的阻击阵地。
黄百韬不愧是蒋介石的一员猛将，他面临绝境依然做困兽犹斗，他不拼到最后是不会放弃的。整个碾庄被黄百韬用密集的火炮和轻重机枪、步枪完全武装了起来，把本来是一座极为普通的村庄，打造成了一个坚不可摧的堡垒。
华野在战后专门对碾庄敌人防线做了总结：
“敌野战阵地以各集团房屋为基点构成支撑点，每个支撑点采取子母堡式交通壕散兵坑，散兵壕内外相连，并将各村庄之间空地普遍修筑野堡式的阵地，形成犬牙交错、纵横贯通的野战阵地。”
粟裕对自己的老对手黄百韬可以说是了如指掌，他深知这会是一场极为残酷的血战，碾庄将会是一块非常难啃的骨头。为此粟裕从其他部队专门调集了多门重炮用于加强对碾庄的攻击。而出自我军大连的兵工厂的炮弹，也源源不断地补充给碾庄前线的华野特纵以及各纵队炮兵。粟裕战后曾说：“淮海战役的胜利不仅要感谢人民的小推车，还要感谢大连兵工厂的炮弹。”
从11月18日解放军发起总攻开始，解放军的大炮就开始发出疯狂怒吼。粟裕要求解放军炮兵不计成本敞开了打，从早上一直轰击到晚上，发射炮弹达到了惊人的3万余发，黄百韬的碾庄阵地被炸得支离破碎。
国民党军第七兵团44军150师师长赵壁光曾回忆当时炮击的震撼效果：
“火力猛烈，炮火连天，火药味辛辣刺鼻。房屋着火，墙壁倒塌，犹如天崩地裂一般！”
战至11月19日晚上10点，解放军最后的总攻开始了。华野各纵队从不同方向杀入碾庄，然而黄百韬仍然凭借坚固的阵地负隅顽抗。双方将士死伤惨重，整个碾庄如人间地狱一般。
11月20日清晨五点，经过惨烈激战，华野完全占领了碾庄，黄百韬的兵团司令部也被攻占。然而战斗并没有结束，战至11月22日，黄百韬手中仍然占据着数个阵地。黄百韬自知败局已定，但他依然不肯投降，他对部下说道:
“我年纪大了，身体多病，做俘虏我也走不动，而且很难为情，不如战死，让别人知道还有忠心耿耿的国民党人。”
11月22日下午，黄百韬退至吴庄。由于“吴庄”和“吾葬”的名字相同，因此黄百韬绝望地说：“这就是我的葬身之地了。”最终在吴庄黄百韬拔枪自尽。一代枭雄就此谢幕。