自全面抗战爆发以后，因为中日之间巨大的军事差距，所以国军在战场上屡战屡败。淞沪会战之后，上海沦陷，南京失守。日本人挟胜利之余威，企图南北夹攻，打通津浦铁路，使华北华东连成一片。
当时板垣，矶谷两个师团，自北向南，齐头并进，意欲图谋徐州，完成南北之连接。敌军板垣，矶谷师团以徐州附近的台儿庄为会师目标。
在平津，淞沪战场上的接连失利之后，似乎这次大会战又要以中国军队的失败而结束。可是，这次骄纵的日本人却遇到了抗战以来最大的失败。这次击溃日本人，这支部队功不可没。到了战事最紧张的时候，这支部队司令长官曾说过一句话，至今让人热血沸腾。
当时矶谷师团乘战胜之余威，率先到达台儿庄外围，不等北上援军的呼应，就贸然扑向台儿庄。对于这样一支部队，我方利用了对方轻敌冒进的求胜心理，设置陷阱，请君入瓮。
当时汤恩伯军团放开正面，诱敌深入，矶谷师团团果然上当，舍汤恩伯军团于不顾，南下直扑台儿庄。在台儿庄内担任守卫任务的是孙连仲部，孙部名义上有两个军，实际上只有三个师。因为以前是冯玉祥手下的部队，所以蒋介石对待孙部自然不如自己的嫡系。
孤军深入的敌军总数约有四万，拥有大小坦克车七八十辆，至于山野炮，重炮有百余门。3月23日，敌军冲到台儿庄附近，矶谷师团来势汹汹，根本就没把守城的孙连仲部放在眼里。
战斗激烈时，每日落在阵地上的炮弹有七八千发之多。在敌人的攻势面前，我军在被突破阵地工事后，利用庄内的石屋进行防守反击。
到了4月3日，全庄四分之三被敌人攻克。孙连仲部下池峰城将军向孙汇报说，如此再守下去，很可能全军覆没。
当时汤恩伯部已经靠拢矶谷师团，如果台儿庄此时被攻克，那么对于矶谷师团的夹击就会功亏一篑。孙连仲自然也深知这是战场的最后五分钟，即使是死也要挡住矶谷师团。
对于属下请求撤退的命令，孙连仲这样回复：“士兵打完了，你就自己上前填进去，你填完了，我就来填进去，有敢言退者，杀无赦。”
当天夜里，我余下残军组织了一支百人的敢死队，趁夜色，手执大刀攻进敌阵。当时敌人万没有想到，这支被打残的部队居然还能组织起反冲锋。到了天明，我军又夺回四分之三的街市。
更大的好消息是，汤恩伯部已经迫近矶谷师团，开始指挥对敌的歼灭战。台儿庄守军在援军抵达后，也及时出击。战场形势这时已经明了，矶谷师团已经陷入重围，想撤都来不及。
此战，敌人伤亡万余人，矶谷师团被彻底消灭。台儿庄战役也是抗战以来，我军的最大胜利。