1977年9月，王平在武汉军区担任政委已有两年，刚刚被任命为军区第一政委。接下来的10月和11月，叶副主席和邓副主席分别与他进行了交谈，告知他将被调往总后担任领导职务。经过对比几位候选人后，最终决定选中王平：“几位人选中，经过考量，你是最合适的。”

王平的背景是政工出身，他早年在抗战和解放战争时期活跃于晋察冀地区。平津战役结束后，四野政委罗荣桓曾看中他，打算让他担任兵团政委。然而，聂荣臻老总却因战略调整挡回了这个提议。华北军区当时作为战略预备队，随着战役的结束，18兵团和19兵团归入一野，而华北司令部的干部也大量调往四野，造成华北军区的干部严重流失，无法再进行抽调。王平因此被安排到察哈尔军区参与剿匪任务等工作。

解放后，王平从华北军区被调任志愿军部队，1958年回国后，他被任命为南京军事学院的政委，一直工作到1967年。由于特殊原因，他的工作在此后被中断了长达8年的时间。1975年4月，他重新走上了领导岗位，开始着手整顿炮兵部门，落实干部政策。在短短4个月的时间里，他打开了工作局面，接待了大量的反馈问题，为改革奠定了基础。之后，他被调往武汉军区继续工作。

在武汉军区工作时，正值全军大规模整顿，军区的领导班子，包括军、师、团的领导都在进行调整。王平面对巨大的压力，在平反工作中迎难而上，解决了许多棘手的问题。尤其是在已故副司令唐金龙的案件上，王平不同意政治部的结论，认为这一结论不够客观，尽管总政未认同他的意见，但他依然坚持了自己的立场。这也是他后来的遗憾之一。为了表示对唐金龙副司令的尊重，王平在追悼会上提议将本来应该是小规模的追悼会提升到更高规格，确保唐副司令能得到应有的尊重。

当时，武汉军区有四位政委，分别是王平、吴烈、刘建勋和赵辛初。王平负责军区的日常工作，吴烈负责干部工作，而刘建勋与赵辛初则分别担任河南和湖北的第一书记。

1977年9月，王平正式被任命为武汉军区的第一政委。然而，仅仅一个月后，叶副主席便找他谈话，告知他即将被调往总后工作。总后是当时存在许多问题的单位，自1975年以来一直没有政委。上级决定让张震担任副部长，负责总后日常工作，但张震并未担任主要领导职务，因此未能完全解决困局。为此，王平被提名为总后政委。

叶帅表示，经过仔细考虑，他们认为王平最为合适。背后有几方面的原因：首先，王平与张震在六十年代曾在南京军事学院合作过，彼此非常默契，且张震有着强大的团结能力，合作经验有助于减少适应期的摩擦。其次，王平在炮兵和武汉军区期间，凭借着果断的整顿和落实干部政策，展现了强大的能力。在总后这样一个历史遗留问题众多的单位，他的果敢和能力尤为重要。最后，王平在过去与总后勤并无过多交集，这使得他能更加客观公正地处理问题，不夹带个人情感。

到11月时，邓副主席也告知王平他将被调往总后工作。从两位领导的接连安排可以看出，上级对总后整顿工作已经做出决心。王平进入总后后，进行了全面的领导班子整顿，对需要处理的问题进行了处理，对需要调离的人员进行了调离，从上到下进行了一场彻底的清查整顿。

在随后的8年里，王平一直在总后工作。原本1983年他已到退休年龄，但上级没有同意他离休，决定让他继续留下，帮助肃清过去的影响并培养新的干部接班人。直到1985年，王平才最终退居二线。