杨成武是“双红一”出身的开国上将，深受中央首长器重。1965年他接替罗瑞卿，成为解放军“代总参谋长”。多年前聂荣臻元帅也担任过代总长，但那是因为总参谋长徐向前因病无法理事；杨成武的情况则不同，总参岗位空缺，老四野统帅却提出让杨成武“代理”，观察一段时间再转正。而事实上杨成武非但没获得转正，还在1968年被“打倒”，免去一切职务。
其实从成为“代总长”的一刻，杨成武的军政生涯便埋下了隐患。他在红军时期，也曾是林总的直接下属，但全面抗战和解放战争期间，杨成武一直跟随聂帅，所以他跟黄永胜、吴法宪等人的情况不同，四野统帅未把杨成武当成真正的嫡系。1965年杨成武获得升迁，主要是毛主席的用人选择，而有的人对杨成武是“既用又防”。
“代总长”是杨成武的最高军内职务，此前他当过纵队司令、军长、兵团司令，但没有在和平年代的中枢部门任职过。所以在经验方面，尤其是上下级关系维护，一定程度上是有欠缺的。1967年怀仁堂事件发生后，一批老帅处境微妙，林总要求杨成武不必再给叶剑英元帅送军队材料，但杨成武不听，还是严格按照规程办事。
叶群作为四野统帅夫人，那段时间也在谋求政治地位，后来甚至进入了中央政治局。为了完善个人履历，她通过林总要求杨成武写“证明材料”，确认自己抗战时的入党时间。杨成武为人非常耿直，他是建国后才第一次见到叶群，无法进行这样的证明。他们找杨成武写材料，无非是看重总参谋部的分量，同时进行拉拢。杨成武坚持不写，说写了是不负责任的、是欺骗组织，最终双方不欢而散。
杨成武是真性情的将军，眼里不揉沙子，干起事来风风火火比较高调。他晚年回忆起担任代总长时的经历，坦承对于相关集团的指令，自己“要么不执行，要么有限度地执行”。将军的原则性非常强，几次矛盾之后，1968年杨成武被卷入莫须有的“杨余傅”事件，撤销职务隔离审查。此后杨成武被关押达6年时间，在中央领导的关心下才转危为安。
周总理语重心长地告诉杨成武：你能回来，太不容易了。要不是毛主席，现在可能就没有你了！总理的意思是，杨成武曾常年卫戍中央，毛主席了解并信任他的品质。在一些人诬陷杨成武时，毛主席曾说：要讲杨成武的“后台”，第一个就是我！经历大风大浪的杨成武，闻言百感交集。
1974年杨成武恢复自由后，重新回到总参谋部，这次组织安排他担任第一副总长、主持总参工作。同为开国上将的许世友再次见到杨成武，十分高兴。人情练达的许老将军，不无嗔怪地感叹了一句：成武，你当时干的是“军机大臣”的活，怎么跟在部队里一样，风风火火呢？行不通！杨成武一下子就听明白了老友的意思，他没说话，却握住许世友的手，用力地攥了两下。杨成武的真性情，非常难得；开国将军之间的真感情，同样难得。