1977年，在武汉军区工作2年的王平，接到叶帅、邓小平等领导谈话，要他到总后勤任政委。首长对他说：总后勤情况非常复杂，老大难单位，原来的干部有得不行了，要坚决果断处理一批。
在调任总后勤之前，他先后在炮兵、武汉军区任职。在此之前，也曾受到冲击靠边站8年。
1975年4月，已经8年没有工作的他，接到组织任命，调任炮兵任政委。
炮兵的问题非常多，在大运动初期，炮兵机关的群众支持了司令员，批评了政委陈仁麒，后来陈仁麒得到支持，压制造反派，打倒了炮兵司令。这一反复，前后牵连一部分干部，使得问题变得复杂。
他到机关开会分析和认识一下问题，思想上达到统一，并大刀阔斧平反冤假错案，搞清楚287位干部到问题，逐渐安排工作。像欧阳毅、苏进、高存信、谢良等，恢复工作，进入领导班子。
此后，他们按照上级的指示精神，将部队存在的“肿、散、骄、奢、懒”现象进行整顿。王平在炮兵机关工作4个月，得到了拥护。有人说：这老头工作真有点魄力！
当炮兵机关在经历4个整顿后，取得不错的效果时，接到新任命到武汉军区任第一政委。叶、邓二位领导对他说：武汉军区很复杂，有人将手伸到很长，有些干部陷得很深。言外之意，稳定部队，继续整顿。
他到任后，一边调查研究，一边贯彻军委扩大会议精神，狠抓部队的整顿。有人怕受到牵连，不敢动，怕被人反戈一击。王平很强硬：要解决干部“软、散”的问题，谁不敢整顿就辞职。
在整顿中，有位省军区司令员兼任军区副司令陷得很深，还有一些军长、政委等。新任领导上任很难开展工作，正确的东西贯彻不下去，执行不了，错误的东西制止不住，纠正不了。可以称得上：针插不进，水泼不进。一开始派的工作组，工作受阻后撤回来，后改变策略，让有问题的单位得到纠正。
此后，武汉军区的工作取得不错的进展。1977年，他被选为中央委员。
1977年11月，上级着手解决总后勤部的工作，这里一直是重灾区，问题非常复杂。谁来挂帅主持工作，选来选去还是认为王平合适。王平先后在炮兵、武汉军区的平反整顿中，取得的成绩非常不错，到总后勤相信也能更好打开局面。
总后勤的问题非常复杂，1975年张震调任总后勤第一副部长，他曾说到总后勤建设受到严重的破坏，造成思想上、组织上和作风上的严重不纯，虚度好的传统丢了，影响到后勤各项工作的顺利进行。
对于总后勤部机关干部看法不一致，他初来乍到心中底数不多，就想抓一下总后机关的干部建设工作，挤时间到一些单位了解情况，震在总后勤的很多工作展开很艰难。
叶、邓首长再次找他时说：总后勤是老大难问题，情况复杂，不把有牵连的人和事查清楚，连个好的领导班子都组织不起来。原来的干部有得不行了，凡是造反派和政治品质不好的，统统要调出总后机关，坚决果断处理一批，要调一批新理论到总后工作。
有了几位首长的指示，他心中有数，明确了总后工作方向。
到任后，就是平反冤假错案，落实干部政策。他听取各方的反映，翻阅有关文件和史料，对总后勤的情况进一步了解，得知无中生有的假案113个，受诬陷的干部和群众三千多人。总后党委11名常委，6人先后被审查，问题相当严重。
一段时间的整顿后，总后勤的工作得到初步改善。1978年8月，总后勤党委对各级领导班子进行一次大的整顿，把几种人坚持从领导班子中撤换下来，恢复靠边站或者受迫害，身体好，能力强的领导干部的工作。
此后，总后按照干部年轻化、知识化、专业化、革命化的要求，逐步对各级领导班子进行调整，大胆提拔德才兼备的干部，改变领导班子“老化”的状况。
他在总后勤工作8年，直到1985年，年龄太大，申请退居二线。