孔府看着红火了几百年，其实从第七十五代衍圣公孔祥珂开始，就已经慢慢露出了衰落的苗头。清朝同治年间，看似庞大的孔府居然陷入了财务危机，账上缺粮少钱，日常开销都快兜不住了，陷入了入不敷出的窘境。
孔府的主要收入都来自各地佃户交的粮草地租，可那时候世道已经乱了，地方上抗租的越来越多，外地的粮草迟迟催不上来，府里上上下下上百口人要养，各种应酬打点也不能少，没了进项，日子一下子就紧巴起来。实在没了办法，当时的衍圣公孔祥珂只能亲自跑一趟京师，找京城的熟人周转借钱，先填上眼前的窟窿。
孔祥珂在京城跑了一圈，总算借到了足够的银子，悬着的心放了一半，赶紧安排人把银子装上车，浩浩荡荡往曲阜赶。为了一路上方便通行，也怕小毛贼找麻烦，车队特意在最前面插了衍圣公府的小黄旗，明明白白告诉路人，这是孔府的车子。
谁都知道衍圣公是天下第一家族，平常别说抢孔府的东西，地方官见了孔府的旗子都得客客气气让路，押车的人也觉得，打着孔府的旗号，一路上肯定平平安安，不会出什么岔子。谁也没想到，就这么着，还是遇上了横的。
车队走到泰山一带，突然窜出来一伙土匪，直接把车队给截了。这些土匪胆子是真的大，眼睛都不眨，明明看见了衍圣公府的旗子，却完全不当回事，非但不怕，反而直接把车上的银子全部劫走了。
要知道，这可是衍圣公从京城借来救急的银子，对方当着孔府的旗子照抢不误，简直就是公然跟天下第一家族叫板。消息传回孔府，孔祥珂又气又急，借的钱没拿到家反而被劫了，这不光是钱的事，更是打了孔府的脸，让整个孔府都脸上无光。
咽不下这口气的孔祥珂，立刻修书给山东巡抚，又给泰安当地的地方官打招呼，要求他们立刻出兵，把这伙土匪剿灭，把被抢的银子追回来。孔府虽然已经缺钱，但面子还在，巡抚不敢得罪，立刻安排官兵进泰山剿匪。
可谁想到，这伙土匪常年在山里活动，对地形熟得很，打一枪换一个地方，行踪飘忽不定，官兵进山搜了好几圈，连土匪的影子都没摸着，折腾了许久也没什么进展。到最后，这件事只能不了了之，银子没追回来，土匪也没抓住，孔祥珂吃了一个哑巴亏。
这件事现在回头看，其实就是孔府衰落的一个信号。过去孔府威风的时候，别说土匪不敢抢，就是地方官也得捧着，哪敢让孔府吃这种哑巴亏。可到了同治年间，别说土匪敢公然劫银子，就连官府都剿不了匪，眼睁睁看着孔府吃瘪，足见那时候孔府的影响力，已经大不如前了。
从借债度日，到银子被劫官府都无能为力，一步步都能看出，这个传承了近千年的第一家族，已经开始走下坡路。后来的种种变化，其实早在这个时候就已经埋下了伏笔，所谓屋漏偏逢连夜雨，就是一个大家族走向没落的真实写照。