1954年10月31日，经毛泽东主席亲自提名和中央批准，粟裕被任命为中国人民解放军总参谋长。
在任命公布之前，毛泽东亲自与粟裕进行了谈话，向他传达了中央的决定。粟裕听了之后马上向毛泽东表示：“主席！我不能胜任！”
毛泽东则肯定地对粟裕说：“根据我的了解，你可以胜任！”
毛泽东要粟裕大胆积极工作，并对他鼓励说道：“不过牡丹虽好，还需绿叶扶持。你努力干吧！”
毛泽东和中央军委在任命粟裕为总参谋长的同时，还给他配备了强大的助手班子。共给他配了10名副总参谋长，分别是：张宗逊、李克农、陈赓、王震、许世友、邓华、彭绍辉、张爱萍、杨成武、韩先楚。
看得出，给粟裕配备的这10位副总参谋长，可不是一般的“绿叶”，而都是在全军声名赫赫的一代名将。
可以说，这是一个非常强大的总参领导班子，强大到难以超越和复制。日后这届班子有两人被评为大将，另外9人全都是上将。
不过，副总参谋长人数虽然配的可谓是不少，但粟裕身上的工作压力并不感到轻松。主要是大部分副总参谋长还兼着其他职务，不能到任：张宗逊原来分管军训、军校工作，下一步兼任训练总监部副部长（当时军委设8个总部，训练总监部是其中之一）；李克农原管3个情报部门，分工不变；陈赓只能拿百分之七十力量参加总参工作，另百分之三十力量搞军事工程学院工作；王震主要负责管铁道兵工作；许世友管南京军区工作；邓华管沈阳军区工作；彭绍辉待西北工作结束后，才能赴京，但他需兼任训练总监部副部长；张爱萍拟调来总参工作；杨成武虽拟调总参工作，但现在还脱不开身，不能前来；韩先楚现在军事学院学习，2年半之后才能毕业。
这样一来，10位副总参谋长中仅李克农、张爱萍（实际上调来是1955年春）可以全部力量在总参工作，还有就是陈赓大部分时间可在总参工作。其他大多数副总参谋长只能在各自单位工作。
针对这种人手少事务多任务重的实际，粟裕全身心地投入到总参工作和建设当中，竭尽全力为毛泽东和中央军委当好战略参谋。
在工作重点上，粟裕除负责全面抓总外，将工作重心放在毛泽东和中央军委高度关注的重大战略和作战问题上，放在国防和军队建设中的大事上。通过抓这些工作重点，达到以点带面，促进各项工作和建设全面发展。
在工作方法上，粟裕和几位副总参谋长团结一致、配合默契。粟裕从不独断专行，有事情找大家商量，尊重大家的意见。工作决定后，大胆放手让别人干，从不施加干预。除工作关系外，粟裕和同事们个人感情融洽，交往和谐正常。若干年后，当时的一位副总参谋长回忆那一段时光时表示：“非常怀念和赞赏粟裕良好的领导方法和对同志的真诚友谊”。
在工作精神和作风上，粟裕殚精竭虑、任劳任怨，经常加班加点甚至带病坚持工作。工作人员“时常看见他把头部侧压在办公桌上，以缓解因战争年代多次负伤和劳累过度造成的头部剧痛”。
粟裕在4年的总参谋长的工作岗位上，正值国家由战争状态向和平建设转变、军队建设由低级阶段向高级阶段迈进的重要时期。在这个关键的历史阶段，粟裕在毛泽东和中央军委的领导下，以对军队建设和军事斗争准备高度负责的精神和战略家军事家的雄才大略，精心谋划、精心组织、精心落实，在抓军队建设、抓战略方针制定、抓作战指导、抓战场建设和对敌军事斗争等方面，作出了历史性的重大贡献。