1945年九月份，日本公布无条件投降，国民党军第二战区司令首长阎锡山就立马命第八方面军副总司令兼第19军军长史泽波率4个师及一个挺进纵队（等同于师）的1．8万余名人，占领了上党。
以便护卫抗日成果，晋冀鲁豫军区集中太行、冀南、太岳3个纵队奉命收复上党。9月10日，战斗正式打响。历经10天大战后，各部直逼长治城下。20日，开始攻打长治城。
太岳纵队的386旅最先夺得了北关。他们正在做攻城战略时，纵队司令陈赓来电话说，阎锡山已派其第七方面军副总司令彭毓斌率6个师，从太原出发，前来支援长治了，令386旅快速攻占老爷山狙击敌人的增援部队。
386旅旅长刘忠和政委张祖谅率军赶到老爷山时，老爷山已被敌人的增援先头部队抢先攻占了。第386旅马上对老爷山启动进攻。可因为敌方占据了山上的有利地形，几回进攻下来都没有取得成功。
因此，政委张祖谅明确提出：“对手在高处，我们在低处，硬攻不下来，就看看有没有别的可以 利用的条件”
历经侦查，总算找到了一个破敌之策。刘忠发现老爷山的东北方有一个小山梁，立马人将这小山梁给围攻了起来，原来这个小山梁是老爷山的水源地，此举一下就断了老爷山的水源。
老爷山的敌军几回反攻失败后，只能弃山而逃。
386旅攻占了老爷山，就等待着彭毓斌的增援主要部队前来了。当天早上，张祖谅在老太爷山顶观察敌情，忽然发现远方敌群中有一个闪光点，并不是向南往长治方位走而是在往北方挪动，细心一看，那闪光点，原来是敌军身上的汽油桶，在太阳的直射下闪闪发亮！
这一状况，马上让张祖谅开始警惕：敌军为何带上生活物资往北去呢？是否会是“佯南而实北”，大部队已往北收缩撤离了呢？他和旅长刘忠商议过后，马上派遣了一支侦察队前去追捕侦查，并迅速向上级领导汇报。
陈赓和副司令员王近山得报后，十分重视，立刻赶来第386旅。这时候，侦察队已查明是小股敌军保护着行李往北撤离。
“好呀！这个彭毓斌果然是佯南而实北行！”陈赓随口而出，随后一声令下：“386旅跟踪追击，在土落村一带堵歼其全军。”
386旅当晚随机出发，急行军20多公里后，先敌援军一步，抵达了土落村，马上占领了有利地形，准备再次阻挡彭毓斌增援的退路。
第二天，敌人回撤的援军纷纷向土落村开来，马上就被386旅堵在了土落村前。彭毓斌亲自带着三万多军队集聚在了土落村这一窄小地区内。
当时敌增援的兵力是386旅的10倍之多。可是，战斗拉响后，386旅因为先敌人一步占领了有利地形，而且准备冲分，士兵们也个个勇敢，坚强不屈，结果，彭毓斌三万多人从早上一直打到晚上都无法攻破386旅的封控阵营。在386旅不屈的狙击下，大部队有了充足的时间过来围歼彭毓斌。在各部的凌厉攻势之下，彭毓斌的增援部队除了一小部逃往沁县外，其他全部被歼，连彭毓斌也在战斗中被枪杀。
彭毓斌援军被击溃，史泽波带领的长治城内的守军见增援遥遥无期，手足无措，也开始了突围，結果在桃川堡周边全部掉进了 包围圈，全部被歼，史泽波也被俘虏。
阎锡山精心挑动的上党战役，以被歼3.5万人而宣布失败。战后，陈赓说：“上党收复战，张祖谅立了大功。”接着，张祖谅被调往太岳军区第二军分区总司令。步步高升。