人民解放军渡过长江后，除一部解放南京外，各部队乘胜前进，猛追逃敌。蒋介石见兵败如山倒，一面集中经营上海这个最大的堡垒，一面试图收集残兵败将，以图反扑。但解放军绝不给敌人任何喘息机会，迅速分割包围，对敌军进行各个歼灭。
4月24日，解放军揭开渡江战役第二阶段的战幕。东突击集团、中突击集团向浙江长兴、吴兴等地进攻。那些天江南阴雨连绵，道路泥泞，战士们硬是冒 雨疾进。27 日，两股大军在吴兴会师，将国民党从长江防线上逃下的五个军团团包围，一举全歼。蒋介石企图固守沪杭防线，但解放军的穿插切断了沪杭一线。国民党的逃兵不断被消灭，一座座城市插上了红旗。解放军第七兵团直抵杭州，国民党守军惊慌失措，有的逃往上海，有的渡过钱塘江，继续南逃。只有一小股敌军在钱塘门外抵抗了一下，很快就被消灭了。
与此同时，第四兵团占领上饶、贵溪、横峰，第五兵团占领衢县，第三兵团占领了金华。国民党四个军的兵力被解放军歼灭大部。浙赣线被解放军牢牢控制。
解放三兵团十二军三十五师，在李德生将军率领下，飞速追击，直奔徽州，截击正在那里准备防御的刘汝明、侯镜如等部残敌。接到命令后，解放军距徽州还有近 100 公里。为了尽快追上敌人，师主力沿小路前进。 当解放军接近徽州城郊时，敌人正在冒雨抢修工事。解放军突然发动进攻，打得敌人措手不及，争先恐后向城外逃跑。一部分敌军逃到城东北山坡上，一部分向杭州方向逃窜，城中没有来得及逃跑的1000 余人，都作了解放军俘虏。一O四团负责解决东北山坡上的逃敌，正当他们迂回包围时，发现东面公路上有一大批敌人向徽州城走来。他们当机立断，派一支部队当头猛打，不到—个小时就结来了战斗。原来这是敌人从杭州逃出的暂编第二师，他们以为到了徽州就安全了，不料还没到地方就被消灭了，连师长都被活捉。
几千敌人缩在山坡上，妄想占据有利地形，与解放军对抗。解放军紧跟眷就追了上来。有一小股敌人拼命往山顶爬，想抢占制高点。解放军战士见状，与敌人展开了爬山赛跑。敌人从山前面爬。解放军从山后面爬。最后还是解放军先爬到山顶。战士们坐在山顶，也不打枪。敌人见状，不敢乱动。不久，解放军—O三团也周了上来。朝敌人多的地方开了几炮。敌人见逃无可逃，守无可守，便派了个军官打着白旗请降。
第二天清早，解放军哨兵发现东北方向的公路上有 1000 多敌人向城里开来。李德生将军听到报告后，命一个参谋带着 40多人到城东北的树林中隐蔽。敌人走到离树林 几十米时，解放 军战士大声 喝道∶"哪部分的?"—个敌军军官愣头愣脑地回答∶"安徽省保安团的，自己人!"战士们端起枪冲了出来，一面喝道∶"我们是解放军，举起手来!"敌人 只好乖乖放下武器。解放军又俘虏了1000 余人。
解放徽州后，解放军继续前进，沿徽杭公路追击逃敌。敌人拼命奔逃，逃到威坪镇，他们以为已经甩下 了解放军，赶忙做饭，水还没有烧开，解放军就迂回包围了他们。他们惊慌之中，把行李、衣服丢了满地，以一个团断后，继续奔逃。但一个多小时后，这些敌人又被解放军追上了。200多辆汽车排在江边，等着逃命。结果被解放军团团围住。侯镜如兵团残部和安徽省政府的人员，至此被解放军彻底解决。
南京、杭州、南昌、武汉等江南大城市先后为解放军攻破，蒋介石抱着上海这个中国最大城市苟延残喘。这是他发迹的地方，他幻想能够在这里抵挡住解放军的攻势，起死回生。因此他逃离溪口时，第一步想到的就是来上海。上海有3 个军，还有大量交通警察、保安警察、宪兵。蒋介石到了上海，命令汤恩伯收拢从江防阵地逃来的4个军两个师，又新成立了两个军。此外，还有海军第一舰队的30多艘舰艇，空军4个大队130 多架飞机，以及炮兵、装甲兵、工兵、通信兵共十几个团，共20多万人。蒋介石坐镇复兴岛，亲自指挥，防御解放军进攻。 他一到上海，接连三次召集团以上的军官，要求至少抵抗解放军半年，只要能抵挡半年，二线兵团就能全部建立起来，国民党又将有300到400万军队，美国也将会大规模出兵相助。汤恩伯对上海可算是竭心尽力了，他亲自指挥守军修筑工事，把上海这座商业城市变成了硕大无比的碉堡群。整个阵地由外围阵地、主阵地和市区核心阵地组成。外围阵地在浏河、嘉定、华泾镇、川沙、北蔡镇一带。主阵地在市区外3～6 公里，由密集的钢筋水泥子母堡群构成。核心阵地主要依靠高大坚固的建筑物，连接街道碉堡工事。汤恩伯对自己的"杰作"非常满意，自卖自夸说，这是攻不破、摧不毁的"钢铁阵地"。蒋介石虽然拼命嘶喊抵挡解放军进攻，但实际上他已经是惊弓之鸟了，他一面命令官兵死守，一面吩咐把上海的布匹、金银等财物搬往南方，可见他自己也没有信心了。
解放军为了解放上海，做了充分准备。军事上，先占领苏州、杭州，切断沪宁、沪杭、浙赣等交通线，使上海变成一座孤城。集中三野第九、第十兵团和第八兵团一部共八个军，攻取上海，歼灭汤恩伯集团。中央军委为防止帝国主义干涉，以第二野战军主力配置在浙赣路金华、东乡段休整待命，随时准备对付帝国主义可能进行的武装干涉。
上海地下党组织也正积极准备，他们通过各种途径，把敌人的布防和工事构造等情况调查清楚，送给攻城部队。那些整天在街头吆喝的报童发挥了意想不到的作用，在地下组织的安排下，他们装作卖报，细心观察敌人的工事，把情况报告给地下党组织。工人、学生组织了纠察队，护厂护校，抵制国民党匪特的破坏活动。这些都为上海的顺利解放做出了巨大贡献。
5月12日，第三野战军发起上海战役。作战总计划是∶第一步控制吴淞、浦东，切断敌人逃出上海的出路；第二步肃清苏州河以南敌人；第三步肃清苏州河以北敌人，解放全上海。按照这个计划，5月12日，解放军开始扫清上海外围。第九兵团从沪西南、浦东向敌人进攻，第十兵团从西北、西面进攻。两支大军像巨大的钢铁钳子，狠狠地向敌人夹去。
解放军十兵团二十六军从苏州河、昆山、太仓一带向敌人发动攻势。13 日夜，七十八师解放昆山，七十六师解放青杨港、陆家浜车站，歼敌 1200 多人。在西巷一带，二二六团二连与敌人展开了一场惊心动魄的厮杀。
夜间十时，二连副连长带领一个班插到西巷附近，迎头碰上沿京沪铁路开来的两列铁甲火车，里面有一个团的敌人。副连长当机立断，命令几个战士在铁轨上放了两包炸药。两声巨响之后，铁甲列车脱出钢轨，栽到路边。敌人清醒过来后，派了几十个人向我军扑来。副连长沉着指挥，十多个战士一齐开火，敌人刚冲到半路，就被消灭了。敌人又派了200多个，向我军战士包抄过来。我军只有一个班，敌人很快就要围上来了。就在这紧要关头，二连一排的战士们跟了上来，端起冲锋枪、机关枪一阵猛射。敌人抛下大批死尸，狼狈逃回。三排赶上来后，从侧翼向敌人进攻，结果被敌人一挺重机枪火力压得抬不起头来。战士刘安仁见状，自告奋勇，抱起炸药包冲向了装甲列车。他灵活地躲避着敌人的子弹，迅速接近了列车，把炸药包放到重机枪的枪巢下，拉着了导火索，然后翻身滚到旁边。但炸药包没有爆炸，敌人发现后，更加疯狂!刘安仁急中生智，瞄准炸药包打了一枪，炸药包爆炸了，敌人的机枪也成了哑巴。有的战士攻到列车旁边，把手榴弹塞到了车厢的瞭望孔里，把敌人炸得血肉横飞。敌人无路可逃，只好求饶请降。解放军二个排歼灭了敌人一个团，俘虏 1000 多人！
但越向里攻越困难，敌人的主阵地是由无数坚固的工事构成，各碉堡群之间互相联接，彼此照应。汤恩伯妄图借这一防线挡住我军，颁布"官兵连坐"、"士兵联保"的残酷法令，逼迫士兵拼死卖命，同时还组织飞机、坦克，对解放军进行疯狂反扑。致使解放军伤亡很大。为了解决这个困难，各部队从兵团到师、团，都召开会议研究对策。总前委为迅速解放上海，又增调第七兵团二十三军、八兵团的二十五军以及特种兵纵队炮兵，分别配属九、十两兵团，集中歼灭敌人。各部队召开"诸葛亮会"，群策群力，研究破敌办法，最后决定采取稳扎稳打，步步为营;迫近作业，防空防炮; 大胆插入，分割包围；打炸结合，步炮协同的作战方法，因地制宜，充分利用有利条件打击敌人。针对敌人的子母堡，战士们想出了妙招，把手榴弹拴在长长的竹杆上，不用靠近碉堡就可以将碉堡炸坏。有时攻下母堡，其余子堡也就不战而降。
到5月20日，解放军已基本肃清敌人外围阵地，淞江、嘉定等地全部为我军攻克。20 日中午，陈毅发布《第三野战军淞沪战役攻击命令》，命令各部队形成对上海的包围，准备发动总攻。而蒋介石这时早已经吓跑了，留下蒋经国、汤恩伯指挥。
5月23日，陈毅给二十七军军长聂凤智打电话∶
"聂凤智吗？你们马上要攻击市区了，一定要军政全胜，一定要把人民的损失减少到 最低程度，这是上海呀！晓得吗?"
放下电话，陈毅下令各部队，5 月 23日晚发动总攻！我军一部主力经数小时激战，完全解放苏州河以南地区。为了减少对市民的伤害，解放军采取"快速跃进，勇猛穿 插，迂回包围"的战术，而不在一街一巷上与敌人拼命争夺。结果解放军发挥机动作战的特长，大胆穿插，使敌人严密的防御体系无法发挥优势，而解放军则一股股渗透 到市区中，打乱了敌人的部署。
24日，第九兵团攻占浦东市区以及虹桥、徐家汇车站，第十兵团插人吴淞、宝山。蒋介石见上海不保，下令军队全面撤退，以保存实力，同时命令特务头子毛森杀害革命者和进步人士。党中央立即电告前线指挥部，要求迅速对这些革命、进步人士给以保护。解放军当即组织了一个政治工作组，随前锋部队入城，保护了宋庆龄、张澜等进步人士。
汤恩伯怕被活捉，逃到了长江口的一艘军舰上，把上海这个烂摊子留给了京沪警备副总司令刘昌义。
25日夜，二十九军向宝山城、吴淞镇发起猛攻。火炮齐鸣，声音震耳，八十五、八十六师分别占领了宝山、吴淞，封锁了长江水 面。汤恩伯率一部残军，从海上仓皇逃窜。
为了尽可能减少伤亡损失，解放军争取刘昌义投诚。刘昌义被汤恩伯扔下来当替死鬼，对国民党已经没有信心，更何况四面楚歌。解放军查到他司令部的电话，直接与他通话谈判，刘昌义同意投诚。这样上海一大部分被和平解放。其他地方还有—些残军作最后挣扎，到5月27日，也都全部被消灭，上海正式解放。
上海战役中，解放军消灭了蒋军15万多人，使蒋介石雪上加霜，把本钱都输了出来，上海这座繁华的城市，在帝国主义和各种反动势力霸占近百年后，迎来了她的新生。
为庆祝上海解放，群众采取各种方式欢庆。全市敲锣打鼓，张灯结彩，有的舞狮子，有的 玩龙灯，有的踩高跷，有的扭秧歌……热情奔放，痛快淋漓。人民解放军进城后，遵守纪律，秋毫无犯，不进民宅，不拿群众一针一线。当时还没来得及 建营房，我军士兵就在马路两旁，盖着麻袋片，和衣而睡。百姓们请战士到家里住宿，战士们也不去。上海人民见过外国军队的飞扬跋扈，见过国民党武装的助纣为虐，这么好的军队，还是平生第一次 见到。这使他们相信，自己真的被解放了。人民解放军的优良品质，不仅受到市民有口皆碑的称赞，就连英国的报纸也不得不表示赞赏。
人民解放军不但用武器攻下了上海，也用自身全心全意为人民服务的品质教育了人们。