在十位开国大将中，粟裕以其卓越的军事才干和战绩傲视群雄，稳坐首位。进入七十年代后期，国家形势逐渐稳定，老帅叶剑英全力辅佐华国锋同志，希望在军队体系中选拔贤能，加强中枢机构的领导力量。在这一背景下，叶剑英想到了长期在军事科学院任职的粟裕。
1976年，粟裕凭借其特有的威望和影响力，起到了稳定华东军心的重要作用，帮助到华、叶等人的关键行动。进入1979年，叶剑英力荐粟裕出任中央军委副主席，得到了华国锋同志的支持。叶剑英对粟裕的欣赏由来已久：五十年代军事科学院成立之初，叶剑英担任主责，他亲自提出将粟裕调至军科，无疑是对粟裕的一种保护。
叶剑英在历史上屡立功勋，对党和军队的贡献巨大，他在中央讲话的分量非常重。79年有了老帅的建议，相关部门迅速与粟裕同志沟通，而粟裕也做好了“上岗”的准备。当时几位老帅正担任军委副主席，此外还有小平同志。尽管粟裕不是元帅，但他作为开国大将之首，其军事水平和经验都极为出众。在世的元帅已经不多，而中越边境又处于紧张时期，因此增补军事人才到军委核心层是非常必要的。然而，出人意料的是，1980年正式公布的名单中，副主席一职并未出现粟裕的名字，他被改任为全国人大常委会副委员长。
粟裕在1980年的人事变动中，虽然从职级上获得了晋升，但实际上并没有达到他在军队高层所能发挥专长的位置，仍然有些屈才。对于这一变动，粟裕本人并未表达任何意见，完全遵从组织的工作安排。作为一个经历过“大起大落”的战神级名将，晚年的粟裕心态已经非常平和，对职级和岗位看得不那么重。
据粟裕的秘书朱楹同志回忆：任命有变化，主要原因是粟裕的身体状况不佳，不一定能适应中枢核心部门的高负荷工作。战争年代粟裕多次负伤，头部还有残存的弹片。进入生涯暮年，他未必能适应军委副主席一职。相对于全国人大副委员长这样的职务，军委核心层的工作压力肯定更重一些。但朱楹也表示，如果粟裕真的能忙碌起来，他的心情也许会更加舒畅，有助于保持身体状态，正所谓“人尽其用”。作为十分了解粟裕的老下属，朱楹还是很希望他能出现在军队的关键岗位上。
此外，当时国家已进入改革开放期，中央逐步推动干部年轻化。粟裕的身体状况非常一般，并且没有比元帅们年轻几岁，也许组织是考虑到这些因素，才没有增补他为中央军委副主席。关于粟裕在1958年遭受的“反个人主义批判”，到七十年代末也还没有得出新的结论，这多多少少对他的任职有一些影响，是一种历史包袱。
1994年底，刘华清和张震两位同志为粟裕平反时指出：大将此前遭受过不公正对待。朱楹因为性格特点等原因，讲话比较含蓄，而粟裕的另一位秘书鞠看了平反文章后，却刚直地表示：粟裕晚年没有当选军委副主席，其实就是“不公正对待的表现之一”。