说完林凤翔在连镇的战斗经过，咱们回过头来再说说突围出去找援军的李开芳。突围出去没多久李开芳就知道了临清援军失败的消息，此时的他有三条路可以选择，第一条是返回连镇告知林凤祥援军已经被打败，然后与林凤祥一起突围回南京，这是上策，第二条，回到南京去搬救兵来救援林凤祥，这是中策，第三条，占领附近的城市分散一部分清兵，缓解林凤祥的压力，继续等待援军的到来，这是下策。然而李开芳最终选择的就是这个下策。
按照李开芳后来的供词说，之所以这样选择是当初突围前和林凤祥商量好的，如果不能找到援军，就择一处牵掣官兵，作声援之势。可是这样有什么意义，在独流镇的时候清兵已经十倍于己，难道就凭目前北伐军这点人数就能做到分兵呼应？明显的不合常理，或者说过于低估了清军的整体实力和过于高估了自己的能力。总之李开芳这个选择是一个毋庸置疑的昏招，也最终把自己送向了绝路。
李开芳占领高唐的过程简单来说就是俩字，轻松，当时兵力基本上都集中在连镇，所以附近州府的兵力并不算多，整个高唐也没多少防守的兵力，所以不费吹灰之力便占据了高唐。
既然打算长时间据守如此，所以占领高唐之后，李开芳大量征集了附近的农民帮助自己修建城防，并深挖壕沟三道，同时收集粮草弹药，并大量征召自愿参军的附近农民，就这样短时间内高唐的兵力增加到了一千五百名左右。
北伐军这边一系列的防守准备，清军也不停息，很快负责消灭高唐北伐军的部队便到了，统帅不是别人，正是咱们多次提到的胜保。胜保这个人最出名的两件事一是在辛酉政变的时候支持恭亲王和慈禧，二就是后来未经请示私自杀了英王陈玉成，剩下的就是虽然戎马一生，但是几乎从无胜绩。
胜保到了高唐之后并不急于攻城，他心里有自己的小算盘，眼看着高唐城防坚固，如果贸然进攻损失肯定不小，不如围而不攻，等僧格林沁这个冤大头来了再说，反正死道友不死贫道。当然了最好的是北伐军自己跑掉，这样就可以兵不血刃拿下高唐了。
胜保想的挺美，可是城里的李开芳可不惯着他，北伐军挖的壕沟不但各个之间想通，城里更是有地道可以直达第一道壕沟，所以看着清兵那边没什么动静，北伐军这边干起了偷袭的买卖。几乎每天夜里都神不知鬼不觉的摸到清兵营地干一票就走，虽然胜保加强了夜间的巡逻但是依然防不胜防，让清兵头疼不已。
在这种情况下，又加上赶来的山东巡抚也派来了援兵，胜保终于下定决心，开始攻城。
但是攻城战并不十分顺利，本身高唐附近就盛产硝石，所以北伐军利用自制的喷筒火弹居高临下对妄图冲过壕沟的清兵迎头痛击，等到清兵真的冲到近前再用滚石檑木对清兵进行打击，所以虽然强攻了几日但是毫无进展。
胜保眼看强攻无望，于是改变战术，也学北伐军夜间偷袭的办法，趁夜间挑选清兵内善于攀爬的清兵带着登云梯偷偷靠近城池准备登墙偷袭，但是该着倒霉，有个清兵在攀爬到半截的时候失足摔了下来发出声音被北伐军听到，结果自然是偷鸡不成蚀把米，不但偷袭没成功还没杀出的北伐军来了个反杀，又损失了不少人马。
一计不行，又生一计，胜保在跟北伐军打交道这一年多以来，虽然打不赢人家，不过人家的招数却学了不少，既然偷袭不行 ，那就挖地道埋炸药炸毁城墙。这胜保可能是打仗前没看黄历，地道好不容易从太平军的壕沟下挖到了城角，结果在运送炸药的时候，带路的人没拿住照亮的油灯，什么后果就不用多说了，一时间山崩地裂一般。地道内的清兵自然不用说，全部被炸死在地道内。
不过好在胜保早有准备，本身地道就是从两个方向一起挖的，虽然这边的因为失误全军覆没在地道内，但是另一路却成功的来到了城角下，并利用火药炸塌了城墙，可是这人要倒霉的话喝凉水都塞牙。就在这时候突然冲着清兵刮起了一阵大风，霎时间尘土飞扬，迷得清兵睁不开眼，结果自然是被北伐军刷了经验。
接连几次的失败，让胜保泄了气，不再做进攻的打算，而是学起了僧格林沁在北伐军的壕沟外又挖了三道壕沟，然后在壕沟旁搭建炮台。做好了长期围困的准备。不过这时候很尴尬的事情发生了，炮台虽然建好了，但是附近所有的重炮都被僧格林沁拉到了连镇，高唐附近一门重炮都没有，没办法只好收集附近农民的铁锅，融化了筑造大炮，这时候胜保的小算盘那就打上了，按理说从农民手里收集和找人筑造大炮都需要花钱，朝廷也下拨了资金，不过秉着能省就省的原则，胜保玩起了空手套白狼，不但一分钱不给还强迫附近的村镇给自己的部队免费供应粮草，一时间怨声载道，搞得很多老百姓反而去给北伐军通风报信，再加上免费的大炮质量也不太灵，所以虽然炮声不断，始终无法对高唐城墙再造成什么太大的伤害，两军进入了僵持阶段。
这个局面直到僧格林沁消灭了连镇的林凤祥之后才迎来了改变，千呼万唤的僧王终于来到了高唐，他的到来对李开芳和胜保来说都不是什么好消息，李开芳就不说了，胜保因为作战不利，僧格林沁接到咸丰皇帝的密令来了之后第一件事就是解除了他的兵权，下了他的官职押解回京听候发落。从这以后胜保终于淡出了我们的视线。
僧格林沁的到来，使得李开芳也感觉自己末日将近，他深知这时候的林凤祥肯定凶多吉少了，所以有了突围出去南下回南京的打算，他是这么想的，僧格林沁也是这么想的，僧格林沁看到高唐城防严密，所以早有了引诱李开芳他们出来以后用骑兵猎杀的打算，所以他一边持续不断的朝城内发射火炮，一边故意让那面围困的清兵放下武器四散休息给出疏于防御的假象、
李开芳果然中计，不过他也怕有诈，所以并不从南面突围，而是先从东面突围接着绕到了南面，这时候已经被押解回京的胜保确立了功，他挖的壕沟因为又宽又深，北伐军的马匹无法跨越，所以所有人只好步行杀了出去，虽然突破了重围，但也因为没有马匹，所以最终在冯官屯被牢牢围住，再没有了南撤的可能。
本来按照李开芳的本意是一口气跑过黄河再找地方休息，但是到了冯官屯附近的时候，一群人实在是跑不动了，没办法找附近人打听，选择了冯官屯这么个还算比较大的镇子打算休息一两个时辰，再过黄河。
冯官屯其实只是这个集镇的其中一个村子，整个集镇是三个村连在一起并有护庄的壕沟，如果能够占据整个镇子的话也许防守起来也不会像后来那么吃力，但是北伐军还没进村就被后面追赶的骑兵赶了上来，北伐军仓促应战，且战且退，最后退到冯官屯靠着寨墙才勉强挡住了骑兵的攻击。骑兵久攻不下，于是停止了战斗，只是团团围住了冯官屯，等待僧格林沁的到来和进一步的指示。
虽然给了北伐军以喘息，但是此时整个北伐军也只剩下五六百人，靠着这五六百人想要守住冯官屯难度可想而知，所以其实这个时候李开芳不如拼死一搏，也许还有生机，然而他选择了防守，断送了这最后的机会。
当时的冯官屯内虽然还有百姓，但这个时候已经不比在高唐了，谁都明白是死路一条了，所以没有一个百姓再愿意加入北伐军，不过却也愿意协助北伐军修筑防御工事，主要是不愿意也不行啊，因此短时间内北伐军就修筑好了简易的防御工事，做好了迎击的准备。
僧格林沁到了以后，知道北伐军人数已经所剩不多了，所以不愿意再增加人员伤亡，于是干起了他一直干的事，深挖壕沟搭建炮台，每天不分昼夜用大炮对冯官屯进行射击。霎时间把冯官屯内的房屋大半炸毁，北伐军的粮仓也因此被炸毁，虽然轰炸不断，但是效果并不是太理想，主要是北伐军善于挖地道，所以大部分时间都是躲在地道内观察动静，因此伤亡并不算大。反而是北伐军这边为了能够突围出去，所以趁着清军壕沟没有完全挖好之际数次突袭，想要夺出一条生路，但是僧格林沁下了死命令，如有人胆敢后退，立斩不赦，并亲自带队督战，因此虽然清兵损失很大，甚至僧格林沁的护卫随从都中枪身亡，但是北伐军始终无法突围出去。
因为北伐军的数次突围，僧格林沁有打起了用水围困的算盘，毕竟在连镇他已经把水攻玩的轻车熟路了，再来一次又未尝不可。不过想是容易办起来却很困难，冯官屯不比连镇，没有运河，附近虽有河道，但只是雨季用来排涝用的，所以要想水攻的话就必须从远处引水过来。
说干就干，僧格林沁并不耽搁，跟众人研究决定后，从东昌府。也就是现在的聊城引运河水过来进行水攻，根据他当时上报朝廷的奏折来看，开挖的引水河道长两万两千一百七十六丈，宽一丈八尺，深六尺到三尺不等，所有费用共计五万二千五百十二吊。清朝时候一吊钱就是一两银子，因此整个工程耗费五万多两银子，这还是只管饭白干活，没工资。工程量可见有多大。
僧格林沁亲自督工，短短一周整个河道便全线贯通，他又命人拉来水车加快水流的速度，一时间，整个冯官屯方圆数里都成了一片泽国，最先倒霉的自然是为了防止炮击储存在地道内的火药，无数的火药还没来得及搬到地势高的地方就已经被完全浸泡而不能用了，这还不是最惨的，随着时间的推移整个冯官屯内除了地势最高的地方外，其他地方最浅处水深也有半尺到一尺左右，所有北伐军，除了李开芳还能有在这块没水的地方睡觉以外，其他人一天的生活完全就是浸泡在了水中，更要命的是连村里的水井都被污染，一时间连喝水都成了大问题。
僧格林沁此时又使出了另一个杀手锏，招降，他知道现在里面的北伐军数量不多了，所以又用起了在连镇的老办法，招降里面的北伐军，然后利用他们来打击不肯投降的人，做到自己不上一兵一卒，不战而胜。
这招果然管用，短短几天就有二百多人投降，此时冯官屯内剩余兵力甚至已经不足三百人了。在这种情况下，李开芳决定尝试最后的办法，派人出去诈降，然后里应外合突围出去。可惜被僧格林沁有所发觉，不但诈降没成，反而又损失了一百多名北伐军战士。
此时的李开芳惨状甚至大于当初的林凤祥，毕竟林凤祥是战到最后一刻，而现在的僧格林沁压根都不和自己打，就是慢慢的和你磨，磨到你彻底完蛋为止。
最终在僧格林沁既往不咎的条件下，李开芳选择了投降，然而僧格林沁并没有兑现承诺，不但他与黄益瑞，谢金生等七人被押解到北京凌迟处死，其余最后陪着他一起出降的北伐军战士也悉数被就地正法，轰轰烈烈的太平军北伐在冯官屯最终画上了悲伤的句号。