1948年11月6日，中国人民解放军发起淮海战役，自济南市挥军南进，国民政府很多部队南撤，向徐州市方位贴近。曾任国民政府徐州剿总总司令刘峙命黄百韬的第7兵团在新安镇停止，等待并保护第四十四军李延年部一起撤离。
第7兵团与第四十四军汇聚后，徐州市吃紧，黄百韬又收到指令，从新安镇向徐州市撤离，守备徐州市东南方及机场。但是战争上机会转瞬即逝，因此前停止原地不动等待第四十四军的指令，这时对局已对黄百韬非常不好。
他剖析觉得：这时如在原地不动抵挡，则被围住孤军作战无援，如向徐州市方位撤离，沿路过河还未来得及搭建浮桥，十多万人马过河艰难，不到徐州市便会被中国人民解放军追上。
两难之下他气愤地称刘峙：
“延误战机，处处被动，将帅无才，累及三军！”
上下衡量以后，黄百韬最后还是听令，率军向徐州市方位撤离。黄百韬的撤离之旅艰辛而杂乱，中国人民解放军的追赶比他想得还迅速，其军队节节败退，伤亡惨痛，基本上能够叫做仓皇逃窜。
淮海战役中兵败自尽，被匆匆填埋
11月9日，黄百韬率第7兵团逃至碾庄，军队早已损失惨重，他未料想到人民解放军追赶效率这般之快，还未可以再作布署，人民解放军就已赶来将其层层包围。
蒋介石得知消息后多次与他通信，希望他
“严督所部，切实训导，同心一德，团结苦干，期在必胜，完成重大之使命”。
不仅如此蒋介石还指令第2兵团和第13兵团两部自徐州市朝东出兵，策应黄百韬第7兵团。因为华东野战军进攻迅速，第7兵团十余万人虽垂死挣扎抵御，但依然在11月22日被人民解放军整个消灭。
黄百韬知道气数已尽，取出一张个人名片，在身后写上“黄百韬以身报国”，接着举枪自杀。黄百韬自杀时身旁仅有第二十五军副军长杨廷宴，相传杨廷宴找来本地乡亲帮助，假称黄百韬是军内的伙夫头，将黄百韬的遗体就地匆忙填埋，并留有标识便于今后查找。
黄百韬真实的埋葬之地
黄百韬并没有在自尽的地方碾庄下葬，杨廷宴下葬了黄百韬后逃出了碾庄战地，几经辗转返回了南京市，将黄百韬之死告诉了那时候“国防部长”和黄百韬之妻柳碧云，并表明了下葬地方。
在柳碧云的乞求下，那时候“国防部长”派人潜回碾庄，借助杨廷宴留有的标识搜到黄百韬的尸体，并由专职人员护卫回南京市。这时相距黄百韬自尽过世早已月余，遗骨早已逐渐腐坏，容貌难以辨认，也正是如此，一路上带回南京市还算顺利。
黄百韬遗骨带回南京市后，暂放到中正路中国殡仪馆。国民党十分重视黄百韬的后事，蒋介石亦是对黄百韬全力褒奖，称赞他
“抗日剿匪诸役，屡当劲敌，并赞戎帏，卓著勋劳”
追赠陆军上将，下令举办国葬，并为黄百韬题字“大仁大义”。
据国民党官方公告，1949年1月26日，黄百韬被葬入南京市曹古山国葬区。后曹古山因建造312国道被推平，这里的黄百韬墓则荡然无存，其亲人将他隐秘葬至蒋王庙明朝大将李文忠墓的后山。
而国民政府溃逃中国台湾后，黄百韬的遗孀柳碧云也跟着至中国台湾，因黄百韬的战功，中国台湾五指山公墓区也设立黄百韬墓，柳碧云在中国台湾去世后则与黄百韬合墓在此。有关目前的南京市、中国台湾两个“黄百韬墓”，中国台湾方面有讯息称黄百韬残骸早已由南京市迁往中国台湾，中国台湾的黄百韬墓为黄百韬夫妻合墓。
但也有些人推断黄百韬遗骨仍葬南京市，原因是国民政府逃到中国台湾时，蒋介石早已下野，没时间顾及黄百韬的身后之事，并且建国后黄百韬的儿女也曾不远千里从美国返回南京市祭祀，并注资整修南京市黄百韬墓。
因而现在绝大多数人觉得南京市蒋王庙才能是黄百韬真实的埋葬之地，黄百韬墓数年来依然存留完整，可以算是十分难能可贵。
黄百韬墓保留到现在的根本原因
南京市黄百韬墓可以保留到现在，是由于许多缘故促使以往绝大多数群众对黄百韬尸骸葬于南京市蒋王庙的事并不知道。没有人知黄百韬墓，这恰好是黄百韬墓可以保留到现在的前提条件。
一、当初通讯阻塞，国民政府官方公告称其由南京市迁往中国台湾
因为蒋介石对黄百韬竭力褒奖，黄百韬去世后的殡葬事项被《中央日报》数次发表，自1949年1月18日起，《中央日报》一连几天头版发表了黄百韬悼念会公示，1月25日，《中央日报》又再一次发表信息称：黄百韬忠骸定为明天埋葬。
在新闻媒体此次全力传扬下，一般群众皆了解黄百韬尸骸已葬入了曹古山公墓区。国民政府溃逃至中国台湾后，中国台湾的五指山公墓的上将区同样有增设一幢黄百韬墓，黄百韬的遗孀柳碧云过世后与黄百韬合墓在此。
在台湾近代出版社出版的《中国现代史辞典》一书中，对黄百韬这一词条描述称
“……兵团陷于碾庄，苦战兼旬，军长以下死伤殆尽，于十一月二十二日自戕殉国……潜迎回归，政府国葬于钟山之麓，并明令追赠上将”
描述内容与事实基本相符合，但没有过多提及黄百韬在南京的墓葬细节，仅是一笔带过。
因此可见，依照国民政府官方对外部发布的消息，黄百韬去世后国民党政府部门为他举办国葬葬于南京市曹古山，后其妻子与黄百韬合墓于中国台湾五指山公墓区，相关材料上都未谈及黄百韬在南京曹古山的墓地曾迁往南京市蒋王庙。
那时候的传递信息阻塞，大大没如今省时省力，群众获得最新动态大多数全是借助报刊，所以那时候大多数人都觉得黄百韬如报刊上所言，遗骨葬于曹古山后又迁往中国台湾，对黄百韬葬于南京市蒋王庙之事普遍不知道。
二、黄百韬墓，墓碑刻字“黄焕然之墓”
除了因为消息闭塞，还有就是墓碑的引导。黄百韬的亲人为其立的碑石上并没有立即注明是黄百韬之墓，反而是书写了“黄焕然之墓”几个字。“焕然”是黄百韬的字，相比于名字“黄百韬”来讲，了解他的字是“焕然”的人比较少。因此即使有人看到了“黄焕然之墓”，也没人能马上联想到黄百韬。
不仅如此，因为新中国成立以前文本及其语言的应用并没像如今似的一致规范化，多音字、繁字体、异体字这些经常导致搞混，《毛泽东文选》的初期版中就曾将“黄百韬”编成“黄伯韬”。
这是由于以前“百”和“伯”两字互相通用，因而黄百韬也经常被写成黄伯韬，并且“黄伯韬”的流传好像还更普遍些，很可能那时候许多人只知“黄伯韬”而不知道“黄百韬”。这也变成黄百韬墓存留到现在的优势之一。
恰好是因为上述列举的多种缘故，促使那时候的人大多觉得黄百韬的尸骸已迁葬至中国台湾，而他依然安葬在南京蒋王庙的真相始终不为人知，并且亲人为他的墓葬选址上颇费思绪，极为隐秘，也促使那时候很少有人会发觉黄百韬墓的具体位置。
目前黄百韬的墓也获得了更佳的维护，与李文忠墓一块儿被归入了保护区，据景区工作员称，黄百韬后代前去拜祭时还注资整修了此墓。前去游玩拜谒李文忠将军墓的旅客们，还可以一起知道黄百韬此人的人生经历。