郭林祥是政工出身的将领，在战争年代名气不算大，新中国成立后，是少将中第二位担任大军区正职的将军。先后在成都军区、总后勤部、新疆军区、南京军区、总政部任职，在1988年被授予上将。
郭林祥在战争时期最辉煌的两件事，一件是中原突围；另一件事是黑河剿匪。
1946年6月中原突围时，郭林祥是皮定均旅政治部主任，跟着皮定均、徐子荣等旅首长，率领部队向东突围，吸引敌人兵力，最终完成任务后，安全脱身并抵达苏皖与华中野战军会师。
此后皮旅多次改编番号，1947年底，这支部队归建，在晋冀鲁豫军区下辖。后在徐向前的指挥下，参加临汾攻坚战、晋中战役、太原战役等等。
1949年，部队南下解放大西南，后划归西南军区所属部队。
此后，他兼任川北军区副政委，野战部队监管地方，主要任务是剿匪，仅仅川北就要8万土匪。上级决定分区负责，全面清剿。他采取政治攻势为主，军事为辅，取得很大胜利，使的军队伤亡小，战果大，受到贺老总等人的表扬。
此后，他被调任黑河剿匪，这里是少数民族聚集地，在处理土匪上不能按照以往的军事为主，需要以政治为主。上级把他调过去，虽然拥有足够军事力量，可他还是采取政治和军事施压的办法，最终取得“军政双优”的战绩。
1955年，成都军区成立后，他担任副政委。1959年，调任军区第三政委。
1967年，他受到冲击后，而中断工作。1972年，他能被解除监护，还是老伴的功劳。老伴从成都来北京为他的境遇奔走，多次给上级写信，最终到上级手里，根据当时的形势下，他的境遇得到改善，到海运仓招待所等待分配。
1973年，总政部领导找他谈话，安排他到总后勤部任政委。说到总后勤部情况复杂，遗留不少问题，派性严重。按照一般人，或许就拒绝，可他似乎有点儿：宁知山有虎，偏向虎山行！
认为到情况复杂的地方工作，可以涨经验，提高能力；到一个没有挑战的地方工作，没有什么意思。
到任后，发现总后勤问题积累太多，情况十分复杂，很多冤假错案没有解决，一些恩怨的事情纠缠不清，积重难返。为了建设总后勤工作，提出5条具体化的意见。
第一，坚决按照中央的方针政策办事；第二，牢记批林整风都在的大方向；第三消除派性，加强革命团结；第四，实事求是，说话要有根据，办事要公道合理；第五是促进生产，促进工作。
有了这五条方针，能够保持比较清醒的头脑，工作起来就没有什么问题了。
可是在工作中，还是有难以预料的情况发生。有人就试探他，看看他支持哪一派，甚至有个别派性严重的人，看到他没有支持自己，就威胁他：你不站我这一边，就给他你贴大字报。这样赤裸裸的威胁，让郭林祥很恼火：我上中央派来的，不是你们哪一派的人。你们以为写大字报就能吓唬人，那就随便写吧，能写多少就写多少。
眼看郭林祥不吃他们这一套，对方也就弱下来了。
在郭林祥开展工作一段时间，工作刚理出头绪，可以说百废始兴，可有人“点火放炮”“放火烧荒”，机关又乱起来，又一次出现反复，各种大字报贴出来。有人想让军队自顾不暇，他按照上级和党委领导下，要保持部队稳定。
在工作上，他来自下级的阻力，上级的阻力，还有同级的阻力。尤其在解放老干部问题上，他与总后勤个别领导确实存在严重分歧，导致工作展开缓慢。
他在总后勤部取得不少成绩，或因内部团结问题上有很大问题，在1975年调任新疆军区担任政委。此后，又在南京军区、总政部任职，直到1990年离休。