同治三年，太平天国运动终于被湘军所剿灭。这场旷日持久的战争，消耗了清王朝的元气，也让清政府的格局为之一变。在这个时候起，大批的汉人，特别是汉族地主阶层开始掌握军政大权，真正实现了满汉共治天下的局面。然而，也就在战争刚刚结束后不到一个月时间，哪怕太平天国还有残余势力时，曾国藩就已经开始考虑裁撤湘军。
湘军为什么裁撤，曾国藩为什么在势力最强，名声最盛的时候要自剪羽翼，历来有很多种说法。这其中固然包含避免功高盖主的因素，又有湘军已经暮气沉沉，成为“浊军”的原因，但最重要最根本的理由应该是曾国藩已经实在没有经费来供给这支虎狼之师了。
曾国藩的湘军，说到底并不是朝廷的正规军队，它是出自草莽的团练、乡勇。朝廷对这支部队，并不承担军饷，全部靠曾国藩自筹经费。曾国藩对于湘军，一方面靠“忠义血性”来治军，另一方面，他也清楚“重赏之下必有勇夫”的道理。
臣以欠饷太巨，后患无穷，久思大加裁撤，以节糜费。
因此大批的湘军开始被裁撤，这本来是一件好事情。在和平年代，节省军饷开支，减轻了百姓的负担，从而能够发展国计民生。但是，这次裁撤，因为所欠军饷迟迟不能到位，让裁撤久久没能完成以外，还让一个秘密的反清组织渗透到湘军之中，借助湘军这个庞大的躯壳兴风作浪。
它就是哥老会，原本就发源于四川，活跃于湖南、湖北一带。湘军在攻打太平军的时候，不断招兵买马，为了补充兵员，不光在湖南，就是湖北、四川，甚至连太平军的降将也招纳进来。这样，一些哥老会的成员便趁机混入了湘军。
他们进入湘军后，大肆鼓动，不断地怂恿士兵加入。湘军历来欠饷严重，部分将领又刻薄下属，赏罚不明，因此给予了哥老会滋生地土壤。但是在整个剿灭太平天国地过程中，为了一个目标而紧紧团结在一起地湘军，虽然也有过几次北哥老会撺掇闹事的经历，但总的来说还是没惹出什么大麻烦。
但是，在战争胜利之后，湘军仍然欠饷，而且还要被解散。因此，很多人有了悲观绝望的感受，甚至连部分将领，特别是有职无权的将领，更是不知路在何方。这时候，哥老会趁机壮大起来，成员越来越多。
甚至在野史中，湘军之中被朝廷封为男爵的萧孚泗，后来也加入了哥老会，成为骨干成员。从后来萧孚泗攻下南京，生擒李秀成就回乡并且再也没有出仕的史实来看，这个说法也并非没有道理。
哥老会渗透之后，怂恿士兵讨要军饷，并让湘军开始内部哗变。连曾国藩给弟弟曾国潢、曾国荃的信中，都忧心忡忡地表示：徽、休、青阳三军闹饷，情同叛逆。
湘军裁撤开始后，一些士兵因为久不耕种，无心回家，反倒是愿意在外征战。哥老会正是为这些人做好了充足的准备。湘军不少士兵，掀起了加入哥老会的热潮。哥老会组织因此而发展壮大，他们最壮大的时候差不多二三十万人马。
后来，哥老会又与反清势力联合起来，成为晚清历史上不可忽视的一支力量，长足影响了清末的格局。甚至在辛亥革命的革命党人中，都有不少是哥老会的成员。曾国藩原打算忠君的队伍，却莫名其貌地参与了埋葬清王朝的活动之中。