1965年底，罗瑞卿被撤销总参谋长一职后，叶剑英向毛泽东建议，由杨成武接任这一职务，毛泽东对此表示同意，林彪却提出了不同意见：“还是先任代总长好，看一段时间再说。”
杨成武就任代总参谋长没多久，“运动”就爆发了。“运动”初期，毛泽东让陈伯达在党的生活会上给邓小平提几条意见，主要是说邓小平对自己请示报告不够、擅自做主张等。陈伯达却对毛泽东说：“抗日战争开始后，邓小平主要在前线工作，我与他接触不多，我讲不合适，由杨成武讲比较好，他一直在前线。”
这个理由非常牵强，因为抗战时期，杨成武和邓小平虽然都在前线，但10多年没有见过面，更使杨成武感到莫名其妙的是，毛泽东所提出的那些意见，他也是第一次听到，怎么好由自己在会上提出来呢？
毛泽东却同意了陈伯达的提议，杨成武感到非常为难，但对于“最高指示”，不执行肯定是不行的。不久以后，杨成武出于对邓小平的尊敬和爱戴，还是向他提了这些意见，并专门说明这都是毛泽东讲的，他劝邓小平认真对待，最好去找毛泽东谈一次话，作一些解释和必要的表示，有则改之无则加勉。
邓小平对杨成武表示了感谢，但他事后并没有去找毛泽东。
1968年3月，杨成武也受到了冲击，他被撤销一切职务，并被关押了6年，直到1974年5月才得到解放。
杨成武得到解放后，李井泉前去看望他，杨成武对李井泉说：“当年我违心地宣讲毛主席对小平同志的批评意见，一直没有机会向他说明。在狱中我还想，如果有一天有可能，我一定要向小平同志当面致歉。”
李井泉听后很受感动，他说：“小平同志现在已经自由了，你的心愿可以实现了！”
杨成武高兴地说：“我现在打电话不方便，那就请你与小平同志联系一下，约个时间，我专程登门致歉！”
李井泉说：“还约什么时间，我们现在就去好了！”
杨成武见到邓小平后，把藏在心里几年的话一吐为快，邓小平却笑着说：“成武，这点小事，你怎么还记在心上啊？你不提，我早已经忘记了！”杨成武听后，被邓小平的大度、豪迈深深感动了。
杨成武复出后，出任副总参谋长。在总参谋部，邓小平任总参党委第一书记，杨成武任第二书记，但邓小平一直在总参内部的讲话中谦虚地说：“成武同志是咱们的班长，我只是挂名而已。”此后杨成武在邓小平的领导下，大力协助他做好总参谋部的各项工作，使总参的各项建设逐步走上了正确的轨道。
1975年，周恩来病重，邓小平受命主持党和国家的日常工作。当时邓小平住在西山第25号楼，杨成武住在第5号楼，西山大院的门卫只认车牌，不认人，耿飚、杨勇等想见邓小平的老同志都是搭乘杨成武的车进大院的。有人说，杨成武的车都快成公用车了！
有一天，杨成武接到了江青的电话，叫他赶快去一趟。杨成武马上打电话向叶剑英请示，叶剑英说：“你马上报告聂帅，我打电话与小平同志商量一下。”
杨成武刚给聂荣臻打完电话，叶剑英的电话就来了，他说：“小平同志的意见，让你马上去，只带耳朵，不带嘴。他还说，这是江青想打听我们的消息，这也是我们打探他们情况的好机会。”
杨成武到江青那里后，按照邓小平的指示，一问三不知，江青没有听到老帅们有任何行动，也就安心了。
1976年9月，毛泽东去世后，“四人帮”加紧了篡权的步伐。在那段日子里，杨成武和叶剑英、聂荣臻一起住在西山，聂荣臻下山后，杨成武自然成为了两位老帅的“联络员”。
有一天，叶剑英对杨成武说：“成武啊，王洪文居然搬到我的寓所旁边了，是专门来对付我的，我得搬家。记得以前我对你讲过，要给我准备几个地方，你现在明白了吧！”
这天下午，叶剑英在与聂荣臻商量后，搬到了一处新的寓所。与此同时，聂荣臻也搬了家。
9月21日，杨成武去看望聂荣臻，并向他汇报了当前的形势。聂荣臻郑重地说：“‘四人帮’一伙是反革命，什么坏事都干得出来，要有所警惕，防止他们先下手。如果他们把小平暗害了，把叶帅软禁了，那就麻烦了。‘四人帮’依靠江青的特殊身份，经常在会议上耍赖，蛮横不讲理，我们只有采取断然措施，才能防止发生意外。”
杨成武在当天晚上连夜上山，把聂荣臻的话转告给了叶剑英，叶剑英听后高兴地说：“听明白了，听明白了！聂帅的想法和我的想法一样，要尽快搬开‘四块砖’，请小平同志出来主持工作。”
此后每隔一两天，杨成武就要去叶剑英和聂荣臻那里报告一下情况，并从中转达他们的意见。10月5日，叶剑英对杨成武说：“你告诉聂帅，‘搬砖’的事已经商量好了，请他放心。现在军队怎么样？”
杨成武说：“没问题，请你们放心吧！”
叶剑英又叮嘱杨成武说：“你要掌握好三总部，陆、空军和海边防，只要军队不出问题，就万无一失！”
杨成武坚定地说：“请叶帅放心！”
10月6日，中央政治局执行党和人民的意志，一举粉碎了“四人帮”，在这个过程中，杨成武功不可没。
1977年9月，第三次复出的邓小平决定让杨成武出任福州军区司令员，他对杨成武说：“你还年轻，身体又好，最少还能工作20年。‘三杨’中，你最能打仗，今后我主抓经济，你主抓军事。现在就要用一下你的大名，你去兼任福州军区司令员，这样对台湾、对美国，都可以起到震慑的作用。”
不久以后，杨成武正式兼任福州军区司令员，开始了新的征程。