1945年8月，黄克诚指挥部队攻克淮阴后就率三师七旅、八旅、淮安独立团、射阳独立团等包围了淮安。
淮安四面环水，城墙全部用青砖砌成，高大坚固，自古就有“铁打的淮城”之称。坚固的城墙，难以逾越的护城河，给守城的5000多名国民党军队壮胆。敌司令员吴漱泉夸下海口：“淮安固若金汤，神兵下凡恐怕也奈何不得。”
黄克诚拳头重重地落在桌子上：“我就不信这个邪!”
他率领各旅、团首长，绕城观察地形，回到指挥部，随即召开旅团首长会议，研究攻城对策。
黄克诚首先发言：“淮安城敌人火力点密集，并且高出地面12米，要拿下淮安城，关键是要压制住敌人的火力。只有压制住敌人的火力，我登城部队才能搭梯攻城。”
“淮安城墙12米高，敌火力点居高临下，压制住敌人的火力谈何容易。”一同志说。
黄克诚说：“孙子说过，善攻者动于九天之上，善守者藏于九地之下。如果我们能够上天入地，敌人岂不是无处可藏了吗?”
大家感到迷惑不解：“何谓上天入地?”
黄克诚说：“所谓上天，就是以高制高。我国古代有一种攻城作战的方法是在敌人的城堡外面堆积一个比城墙还要高的土木工程，这样就可以俯瞰全城，可以把箭射到城里去。我们何不来一个古为今用，动员全体士兵用沙袋在淮安城的外围堆积起比城墙还要高的沙包，这样我们的火力就可以压制住敌人的火力。”
“那么什么是入地呢?”
“《封神演义》中有一个人物叫土行孙，他的最大本领就是能够钻入地下。如果我们能挖一条地道通到敌人的城根下，然后把成吨的炸药从地道里送到那里，等攻击开始引燃炸药，就可把城墙炸开一个口子，我军就可以从这里突入进去。这就是我说的如地。”
大家在对战斗过程中的细节进行细致讨论后，分头进行准备。
于是一个个用沙袋堆起的制高点俯瞰全城，我军用重机枪对敌人进行射击让城墙上的敌人再不敢在城头上大摇大摆的行动。随后在这些火力点掩护下，我军利用一周时间，从城西南侧房屋基下挖了一条150多米长的地道，直通到城脚下，用一口装有500磅炸弹的黑漆棺材运抵城脚下地道里。至此，部队完成了攻城的一切准备工作。
9月21日，黄克诚向吴漱泉发出最后通牒，吴漱泉仍是置之不理，企图凭借坚固的工事负隅顽抗。
第二天拂晓，总攻开始了。随着一声震天撼地的巨响，城墙被炸开一处7米多宽的缺口。与此同时，架在沙堆上的各种武器一齐向敌人开火，压制住了敌人的火力，我突击部队勇猛地从缺口突入城内，并打开城门。我军各部趁机从城门涌入城内，向敌人发起冲锋。激战至中午，敌司令吴漱泉及数百名敌人被击毙，4000多人被俘，“铁打的淮城”解放了。