在韩愈的《马说》中曾说：“千里马常有，而伯乐不常有”，而在我们新中国建设初期，主席就是一个伯乐，他任用人才可以说是十分大胆的，刘亚楼晕飞机，却让他做了空军司令员，而萧劲光晕船，就让他做了海军司令员，这些决定还在当时引起了很多讨论。
在50年代新中国决定和其他国家建交之时，派谁进驻各国大使馆的外交大使是一个非常令人头疼的问题，主席又做了一个大胆的决定，让军区首长们当大使，这些本来戎马一生的首长们便脱下军装，换上西装，成为了大使，为了让他们这些首长们身上自带的军旅气质转变成儒雅的大使形象，总理还专门找人对他们进行了培训，谁曾想光做思想工作就花费了很长时间。
而耿飚就是被选派到国外担任大使的军区首长之一，并且还是首发阵容中的一员，他从进入红军队伍以来就一直在前线担任指挥这样的工作，总理让他回京的时候，他还以为是因为又发生了战事，所以还提前命令部队做好打仗的准备。但是当听完让他去做外交这样的工作时他却一时难以接受，因为他小的时候在家乡矿场一直当童工，没有怎么上过学，所以文化水平不高，直到进入军队之后才有一些提升，所以在接到这样的任命后，他第一反应就是拒绝，因为他不想离开他待了这么多年的部队，和部队有着很深厚的感情，同时也是担心自己在新的外交领域干得不好。但是国家既然需要他，他肯定还是会调整好自己的心态，努力面对新挑战的。
担任外交大使后，他首先出访的国家就是瑞典，他当时陪在总理身边，瑞典的一个将军在了解到耿大使是军队出身之后，便用戏谑的语气问他能带多少兵，耿将军却不紧不慢地说：“不多，不多，也就是十万人而已”，但是当时这样的兵力相当于瑞典全部的兵力了，所以这位将军十分惊讶，没想到总理旁边这位看起来丝毫不起眼的男人居然是一位大将军，而且中国居然能派一位战将担任外交大使，这确实是非常少见的。
在1978年的时候，他担任了国务院副总理，也回到了军队里，此时的他已经离开军队将近30年了，之后他还担任了国防部长，但是由于他在授衔仪式那年仍在进行外交工作，所以就成为了新中国唯一一个没有军衔的国防部长。