1938年4月7日，在孙连仲第2集团军和汤恩伯20军团夹击下，攻击台儿庄的濑谷支队和坂本支队开始溃退。李宗仁也下达了追击命令，27师经刘家湖向北追击，30师沿南北洛追击，20军团主力攻击峄县。8日，濑谷支队后退至峄县、獐山。次日，30师178团追到獐山，经过两日拉锯战，拿下日军多个据点，但却因为伤亡惨重未能克复主阵地。同时20军团也攻击峄县，中国空军也出动了27架次战机支援，但日军已经建立了坚固的阻击阵地，攻击未果。鉴于所有参战部队都已经减员严重，李宗仁下令停止攻击，台儿庄之战遂告结束。
台儿庄战役的胜利，体现了中华民族在民族危亡关头团结抗战、坚定不屈精神。过程中，鲁南百姓也提供了极大的帮助，在中共地下组织的动员下，组织了大量的运输队有利了守军的后勤粮食、弹药的供应，担架队也日夜不停地将伤员运输到后方治疗，很多流落在当地的伤员和被打散的士兵也在老百姓的帮助下返回了部队。并且当地的壮丁队、义勇队也不停的在日军后方临城、韩庄破坏铁路，枣庄煤矿工人义勇队多次发动暴动，炸毁了日军的油库，这也让日军的补给遭到打击。人民群众的支持和帮助也是台儿庄胜利的关键因素。
台儿庄战役胜利后，国民政府组织了多个国家十余名记者，在《大公报》著名记者范长江的带领下，前往台儿庄采访报道，苏美英等国记者都对这次胜利赞不绝口，认为最终的胜利一定是中国。荷兰导演伊文思在台儿庄拍摄了著名纪录片《四万万人民》。这些摄影作品向世界宣传的这场辉煌的胜利，也向世界展示了中国人民抗战到底的决心。
台儿庄大捷后，此前京沪沦陷的悲观之气一扫而空，国民抗日信心得到恢复。但是随之而来就是另一个极端速胜论，老蒋和军委会被胜利冲昏了头脑，希望能在徐州在打几个如同台儿庄的胜仗，因此老蒋将大批主力，包括46军、60军、69军、22军，骑兵第9师、13旅等部队都调往徐州，加上第五战区原有的部队，总兵力已经达到60万人。
此时，虽然台儿庄的惨败让日军很丢了面子，但实际上遭受的损失并不是致命性的，影响不了整个大局。战后日军的战线最初经历了一段时间的平静，原因是日军内部展是扩大派和不扩大派起了争论。但当它们发现徐州方向陆续集中了中国军队60万大军时，这对他们来讲可是一块送上门的肥肉啊！于是，日本两派人立即停止争论，同样开始动员起来，徐州会战的最后阶段来到了。
这一次日本华北方面军和华中派遣军共同构筑了一张大网，华北方面军把北线中国军队主力牵制在台儿庄、峄县附近，华中派遣军把南线中国军队拖在徐州东南方向。随后，日军第2军则做大范围的战略迂回，切断徐州中国军队的后路，徐州地处平原，非常适合日军机械化部队快速行动。之后华北方面军占领兰封、开封，切断泷海铁路，华中派遣军切断徐州以南的津浦线，两张大网合拢围歼徐州的中国军队主力。在这过程中，第2军的迂回是关键，对此，日军给第2军配属了5个师团，外加1个混成旅团以及炮兵、战车和工兵部队。日军围攻徐州的总兵力达到了20万人。
情况如果是这样，那对徐州的中国军队主力就是一个十分危险的信号，但此时被胜利冲昏头脑的国府依然再往徐州持续调兵。好在国府内部还有明白人，当看到各路大军都来到徐州，吃住都成了问题时，李宗仁哭笑不得，当初刚到第五战区，老蒋派给他的都是些虾兵蟹将，现在打了胜仗，你就急匆匆的把大军一股脑的派过来。可是现在想要扩大战果已经晚了，在大平原的中心徐州决战，这不是完全便宜了日军的机械化部队吗？
同样忧心忡忡的还有国府军令部第一厅厅长，被称为桂系第一智囊，有着“通共”嫌疑的刘斐，他一直在研究日本军队的作战思想，对国军的实际情况也很了解。他很快就意识到了如果日军利用机动性强的优势，向国军的侧后方进行迂回，那么徐州的中国军队将被一网打尽，这可以说是直接预判了日军的计划。对此，刘斐不停的提醒李宗仁，一定要预留足够的机动兵力和预备队。
而此时，李宗仁的部署却也出现了问题，中国军队的防线绵延150公里，西起微山湖，东至郯城，几十万大军全是一线配置，与日军展开延翼竞塞，虽然这么做可以防止日军从侧翼包围，但所有的兵力都在一线，没有预备力量。这150公里任何一点被突破，那么整个防线都将全线崩盘。李宗仁也不是不想留预备队，但由于兵力不足，一旦留了预备队，那么正面的防线就会有空隙。但总之，这种延翼竞赛完全就是被对方牵着鼻子走，没有抓住战场的主动权。
桂系智囊刘斐
4月16日，完成休整的日军第5师团再次对临沂发起进攻，由于庞柄勋和张自忠部在之前的战斗中都已经伤亡惨重，19日临沂失守，23日军又占领了郯城。随后日军猛攻大运河防线，52军在兰陵与日军血战，到20日，52军两个师都打得不到2千人了。此时，日军第10师团长濑支队也发起进攻，好在滇军60军及时赶到，在禹王山挡住了日军。同时，南线日军也发起总攻，第6师团由安徽芜湖出发，不久后占领合肥，101师团从东台出发，相继攻占盐城、阜宁，第9、13师团也开始北上，突破了南边第7军的防线。随后，第9师团在蒙城遇到了2000与广西狼兵的阻击，付出1200伤亡后才夺下了蒙城，到5月16日，日军突入萧县，第2军16师团击溃了鲁西南中国守军，占领菏泽，逼近陇海线与日军13师团汇合，从郯城南下日军也与苏北日军在新安汇合。至此徐州外围大部分沦陷，日军的大网已经悄然合拢。
这时，老蒋终于意识到了徐州的危险，下令李宗仁紧急突围。5月16日，突围命令下达。这一会李宗仁再一次展现了高超的指挥艺术，他命令整个大军分为六路突围，比如第20军团及第2军、68军、59军、92军在汤恩伯指挥下向徐州西南毫县、太康突围，第21集团军、31军、77军在廖磊指挥下向太和、阜阳方向突围，张自忠将军率领59军、92军21师、27师、139师，孙连仲在萧县掩护主力突围，孙连仲指挥第2、22集团军、51军、60军、48军、22军、75军守卫徐州，后向永城突围。
在突围的过程中，各路大军也是化整为零，将部队再次分散成团、营等小股部队撤退，整个突围路线就如同蜘蛛网一般。并且和日军判断的中国军队向西突围的方向不同，中国军队向着迎面日军进行离心突围。在自己的国土上作战，他们对周围的地形十分熟悉，在突围过程中游离得如鱼得水。
中国军队如此的突围日军大为惊讶，单独分散的一只团、营级的千余人小部队在茫茫平原中很难发现，就算发现了，这么多小股部队该追哪一路呢？如果日军用大部队去追肯定不划算，同样分散成小部队去追也不一定能取胜，这让日军十分头疼。虽然日军对徐州的包围圈已经形成，但20万兵力想要包围终究还是太少了，日军包围圈漏得跟塞子一样，中国军队小股部队就从包围圈随处可见的间隙中突围而去，消失在幅员辽阔的平原中。在战争中，有序的撤退比进攻防守更加考验一支军队。
5月18日夜，李宗仁的第五战区指挥部也撤离徐州，他们1000人乘坐火车撤退，但出徐州后不久就发现铁路已经被先前撤退的中国军队破坏了，于是只能下车转步行前往宿县。途中部队在一个村庄扎营休息，但深夜李宗仁突然感觉到很不舒服，于是命令部队立刻继续转移。刚走不到半个小时，一支日军骑兵就占领了他们刚刚宿营的村庄。还好李宗仁他们提前走了，不然后果不堪设想。之后，李宗仁过宿县，越过津浦线，到了涡河北岸后，与21集团军的一个团汇合，这才脱离了险境。60万大军基本也都陆续达达突围目的地，完成了一次堪比敦克尔克的大突围，为持久抗战保留了重要力量。
5月19日上午10时，日军13师团从霸王山方向进入徐州，此时日军才发现60万中国军队已经不翼而飞，徐州现在仅仅是一座空城。至此，历时5个多月的徐州会战结束，中国军队伤亡10万余人，日军也付出的3.2万人的伤亡。徐州会战经历了淮河大战、坚守滕县、硬刚临沂、血战台儿庄、守卫禹王山和徐州大突围，整个过程中，中国军队各个派系同仇敌忾顽强抵抗，主官身先士卒指挥得当，最终消耗了日军的有身力量，也为武汉会战争取了时间。