动荡爆发后，张爱萍将军很快被打为“反革命分子”，居心叵测者叫嚣着要将他投入监狱，接受所谓的社会主义思想教育、改造。张将军在得知自己上了居心叵测者的“黑名单”之后，表现的非常淡定，他先是将自己的下属全部叫过来，将手头的工作一一交接，随后返回家中，向妻子和子女告别。
不久之后，居心叵测者便将他逮捕，关入秦城监狱看押。在此期间，张将军受到了诸多折磨，他是吃也吃不好、睡也睡不好，整个人的状态越来越差，可即便如此，他也没有向居心叵测者低头，他坚决不承认对方强加给自己的罪名，更不承认自己曾经反对过毛主席，他是共产党员，他永远拥护、爱戴毛主席，这一点毋庸置疑！
张将军被关押了足足待了五年时间，一直到70年代，他才在周总理和邓公的保举下，重新恢复自由，并重回国防科工委工作。彼时中国航天事业正处于关键发展阶段，科研工作者正在全力攻关人造卫星与运载火箭相关技术，但某些居心叵测者却根本不管这些，居然要在科研单位搞阶级斗争。
张将军得知此事后很是生气，他随即出言批评了居心叵测者，这可闯下了大祸，居心叵测者随即又开始给张将军“扣帽子”，说张将军搞“右倾”，并扬言要批斗张将军。张将军对此毫不畏惧，他坦然接受了一切，该批斗就批斗，该检讨就检讨，没有一句怨言。而有了他吸引“火力”，科研单位倒是“清闲”了许多，至少不用再被逼着搞斗争，可以将所有精力放在科研上。
当年年底，长征系列火箭顺利升空，并将一颗人造卫星送往太空，而当卫星顺利进入运行轨道后，所有科研人员都忍不住欢呼起来，张将军更是喜极而泣。然而，就在大家弹冠相庆的时候，居心叵测者却突然闯进发射指挥室，将张将军强行带走，继续搞批斗和针对。在长期的打压之下，张将军的身体出现了严重的问题，他被迫中止工作，转往医院疗养。在此期间，他以读书、研究诗歌为乐，倒是度过了一段比较平静的时光。
而到了1976年10月，随着“四人帮”覆灭，动荡也宣告结束，张将军得知这个喜讯后，不禁喜极而泣，自己熬了这么多年，终于熬出头了！动荡结束后，张继续到国防科研单位工作，艰难推进洲际导弹、人造卫星等重点项目攻关。1977年，邓公突然找他谈话，希望他能到军委担任秘书长，可他却辞谢了这番好意，他表示自己身体不好、精力也不足，实在没法承担秘书长这一要务。邓公倒也没有勉强他，转而指派罗瑞卿将军就任秘书长一职。
1980年，张将军觉得自己实在不能再继续工作下去了，随即给邓公写了一封信，请求解甲归田。但邓公并未予以批准，反而安排他担任国务院副总理。1982年，他被免去副总理的职务，本打算就此离休，但杨尚昆同志却又极力邀请他到军委任职，主管国防建设工作。
在此期间，张将军将工作重点放在了核工业上，从1982年下旬开始，在他的推动之下，科工委连续建立了七个与核有关的项目，并大胆任用了一批新锐干部担任项目主管。这一引起了党内一些老同志的不满，老同志们认为，年轻干部缺乏工作经验，应该稳扎稳打逐级提拔，不应该搞“突击提拔”。张将军则严厉批驳这种意见，他觉得老同志们犯了“经验主义”的错误，总觉得“姜还是老的辣”，实际上，有些年轻干部才能几分出众，完全可以重点培养、提拔，没必要搞资历考核那一套！
90年代，张将军彻底退出政坛，可他并未因此彻底隐退，他仍旧继续关注解放军的发展。在80、90年代，为了改善部队的财政状况，党中央特许军队经商，增加财政收入，张将军觉得此举实在不妥，因为一旦军队与金钱挂钩，将失去本心和责任心，届时将成为“脱缰的野马”难以管控，所以他一再呼吁党中央收回部队的经商权，让解放军专门执行保卫职能。
在张爱萍将军和其他同志的一再努力下，解放军于1998年彻底放弃经商，回归原有职能。2002年，张将军病重，2003年中旬，他因为多器官衰竭去世，时年九十三岁。