1978年耿飚去访问了牙买加等一些小国，不过在中途的时候，却收到了罗瑞卿去世的消息，这让耿飚非常的心痛，他与罗瑞卿也是老相识了，两个人战争年代可是关系非常好的战友。两个人还做过搭档，虽然因为政见出现过争吵，可是他们的感情却没有发生变化。
因此，耿飚在听说罗瑞卿去世后，就特别的悲伤。在8月12日，耿飚去参加了罗瑞卿的追悼会，罗瑞卿在去世之前是军委的秘书长，如今他离开了，这个职务就空缺了，所以负责军委工作的叶帅就想到了耿飚，觉得他是比较合适的人选。
1976年之后耿飚就离开了部队，去了外交部，后来又当了副总理，可以说他基本上额度负责政治方面的工作，如今又让他回到了部队，他自然是非常高兴地，而这么艰巨的任务，党中央交给他来做，也是对他的信任以及能力的看重。
不过从这里也能够看出，耿飚身上的职务是比较多的，也许有人会疑惑，为啥这么多重要的职务都让耿飚来负责呢？其实这是有原因的，首先国家正处于一个转折时期，有许多的事情需要有人来做的，而耿飚属于老革命，所以让他来负责这些工作是比较合适的。
再就是耿飚虽然年轻的时候没有接受过教育，不过他在学习方面却是比较强的，对什么东西都是虚心学习的态度，这就是中央对他重点培养。最后一点就是耿飚当时年纪虽然有七十多了，不过他对身体锻炼还是比较注重的，所以他的身体状况还是非常不错的，让他负责这么多的工作，他也能够很好的完成。而且当时中央的领导人都比他的年纪大，而且身体没有他硬朗，所以他就应该当仁不让，担负这么多的责任。
其实说白了耿飚这些老革命，就只有一个想法，那就是他们都是为国家，为党服务，只要党有需要，他们都会责无旁贷，就算是年纪大了，也一定会接受中央给予的安排。没多久，叶帅就在党内做出了让耿飚代理秘书长的指示。
从那之后耿飚就又负责了一项工作，就是秘书长的工作，之后有关军事方面的会议，他都参加了。1979年1月2日，邓公在会议上宣布让耿飚回部队工作，而后他就成为了军委的秘书长，协助军委主持日常工作。
时隔多年，耿飚又一次穿上了军服，这让耿飚感慨万分，他也回忆到了自己第一次穿上军装的情景，他在心里下决心一定要完成党交给他的所有任务，不会辜负中央对他的期望。不过在他回到部队之后，首先面临的任务就是对越战争。
当时越南在完成统一之后，可是非常嚣张的，不仅觉得自己是世界强国，还不断骚扰我国边境，甚至还占领了一些领土，我国也给予了警告，可是越南方面压根就不当一回事。所以对越南用兵也是势在必得的。
耿飚成为军委的秘书长后，他负责的首个任务就是关于对越战争的军事部署，而我国也准备从东西两个方面对越南境内发起进攻，负责这两个战线的总指挥分别是许世友与杨得志，耿飚与他们的关系也非常好，知道这两个将领在指挥作战方面绝对不差。
而杨得志与许世友的能力也在之后的作战中体现出来，不仅打出了出色的战绩，还直接在不到一个月就完成作战目标，给越南一个重重的打击。这除了有两位将领的功劳，还有耿飚的功劳，而这也能够看出中央对耿飚能够的看重，之后叶帅提议上耿飚担任总参一职，这也是因为耿飚在当时也是能够信任与重用的将领。