元嘉七年（公元430年）下半年，到彦之撤退之后，宋军并没有因此而一泻千里，他们还在淮河以北的广大地区坚守，与魏军胶着。因为，他们在等待着希望。他们知道，宋文帝刘义隆已经命令都督征讨诸军事檀道济率军北上，展开第二次北伐；而檀道济在接到命令之后，也已率部日夜兼程北上，目的地就是驻有大量宋军的黄河要塞————滑台。
然而，因为刘义隆原本对到彦之寄予厚望，武库之中几乎全部的精良装备都配备给了他，而他将这些装备都抛弃在了历城城下。到彦之败退之后，刘义隆曾在一次公开场合询问武库中还有多少武器，当时在座的不仅有朝廷近臣，还有北方降将，刘义隆开口之后就后悔了，因为他估计武库中的兵器铠甲也是所剩无几了，负责掌管武库的库部郎顾琛撒谎说∶“尚有十万人的兵器铠甲。”刘义隆听了，心领神会，连连称善。
檀道济所部作为刘义隆的非嫡系部队，在这种情况下，他的部队兵员和武器都不是一流的。而且，魏军此时已经结束洛阳、虎牢等地的战斗，兵力更加集中；相反，宋军却士气低落。可想而知，檀道济的压力有多么大。
元嘉八年（公元431年）一月，檀道济率领的北伐军进抵前线，并完成了战斗准备。一月十五日，他率领宋军从清水逆流而上，解救被围近两个月的滑台，魏军叔孙建、长孙道生率军抵御。一月十六日，檀道济所部进至寿张，遭遇叔孙建率领的魏军，檀道济与戴罪立功的宁朔将军王仲德、骁骑将军段宏率领宋军给予魏军迎头痛击，大破屡战屡胜的魏军，一直转战到高粱亭（今地不详）。北魏宁南将军、济州刺史、寿昌公悉颊库结率军与宋军激战，檀道济出奇制胜，派出段宏和禁卫军将领沈虔之等人率领奇兵突袭魏军，阵斩了悉颊库结。
宋军的舰队边打边前进，一直开到济水。二十多天内，双方发生了三十多次惨烈的战斗，宋军胜多败少。宋军进抵历城后，叔孙建下令魏军骑兵不断劫掠、焚烧宋军的粮草，宋军很快就断粮了，无法继续前进，这让安颉、司马楚之等人能够全力进攻滑台，拓跋焘再派楚兵将军王慧龙率军增援。二月，坚守三个月的滑台宋军早已断粮，主帅朱修之与将士们饥饿难耐，一起用烟将洞中的老鼠熏出，吃掉老鼠果腹。二月十日，魏军终于攻克了滑台，生擒司徒从事中郎朱修之、东郡太守申谟，同时被俘的还有一万多宋军将士。
二月二十二日，拓跋焘回到平城，他向太庙告捷。兴奋之余，他下令对所有将领和百官都进行赏赐，参战士兵家庭全部被免除十年的赋税。当时，北魏南方地区发生洪灾，饿死了很多百姓，尚书令刘洁上书请求拓跋焘哀怜百姓，拓跋焘又下令免除全国百姓一年的赋税。
滑台陷落后，檀道济北伐的目标已经落空，所部已陷入十分危险的境地，开始从历城南撤。投降魏军的宋军士兵向魏军报告说∶“宋军已经断粮了！”得知这一情况，魏军开始南下追击。檀道济利用夜晚，命令士兵们像量粮食一样一斗一斗地量沙子，一边量，一边高声报出数字，然后，把军中所剩无几的一点儿米覆盖在量好的沙堆之上。等到天明，魏军遥遥望见宋军军营里一座座“粮垛”，高呼上当，诛杀了那个宋军降卒。当时，魏军人数众多，骑兵黑压压地从四面八方朝宋军压来。檀道济大智大勇，全无惧色，他下令全军将士全副武装，做好战斗准备，唯独自己只穿了一件白色的便服，坐着轿子，悠然前行。就这样，宋军大摇大摆地从城内出来，慢腾腾地行军。魏军担心有埋伏，竟然不敢接近，始终没有发起攻击，宋军这才得以顺利逃出虎口。
檀道济虽然没有收复滑台及黄河以南的失地，但在极其危险的情况下，气定神闲，将宋军带出了死地，他表现出大将之风，不仅让他在刘宋朝廷威名大震，也使对手肃然起敬。北魏军民对他非常忌惮，曾将他的画像当作驱除恶鬼的凶神恶煞来供奉。回国之后，刘义隆加封檀道济为司空，让他回到了江州驻地浔阳。
青州刺史萧思话是刘义隆的表兄弟，元嘉五年（公元428年）在他年仅二十七岁时就被任命为青州刺史。当他听说檀道济已经率军南归后，吓得魂不附体，决定弃城逃到险要地带自保。济南太守萧承之反复劝阻，但萧思话不从。二月二十六日，他率军弃城逃往东阳东南的平昌。他的参军刘振之镇守下邳，听到这个消息后，也弃城而去。结果，魏军并未继续东进和南下，而东阳城内囤积的物资在萧思话退走后，全部被乱民焚毁。刘义隆大怒，将他召回京师，逮捕下狱。
与伤感的宋文帝相反，北魏太武帝拓跋焘却内心充满了喜悦。
北魏冠军将军安颉率军北撤后，拓跋焘才从宋军俘虏口中得知，宋文帝在北伐之初曾告诫诸将说∶“如果北魏南方军区进行战争动员的话，趁魏军尚未南下，我军就当率先渡过黄河，进攻魏国黄河以北地区；如果魏军没有动静，大军就驻扎在彭城不动。”拓跋焘对魏国群臣说∶“你们大家都说我采用崔浩先北后南之计，先进攻柔然而不理睬宋军是错误的，你们还曾惊慌失措，反复劝谏。常胜将军总是以为自己比别人都强，其实，到最后，你们还是赶不上人家的谋略啊!”于是，他晋升崔浩为司徒。