新中国成立初期，随着与世界各国建交的数量逐渐增多，派遣外交大使成了一个急需解决的任务。周总理深刻意识到，作为外交大使，首先应该从军队中选拔。他深知，军队中的干部在战争的考验下，具有极高的忠诚度和可靠性。在毛主席明确表态后，军人担任大使被认定为不算转业，依然可以保留军籍。耿飚最初并不愿接受这个任务。作为一位在战场上英勇作战的将军，他可能更希望继续在军事领域发挥自己的才能。然而，军人以服从命令为天职，耿飚最终还是响应了号召，走上了外交的道路。

在当时，寻找外交大使的主要来源有三个途径。首先，军队干部作为外交官的来源具有独特的优势。这些干部在革命战火中历经艰难困苦，对国家有着坚定不移的忠诚。他们亲眼目睹了战争的残酷与革命的艰难，深知胜利来之不易。正是通过长期的艰苦奋斗，他们锻炼出勇敢、果断和坚韧的品质，这使得他们在外交工作中，面对复杂局势时能毫不动摇，坚定立场，不为压力所屈。其次，地方干部也是重要的外交官来源。长期在人民群众中工作的他们，对国家的现实情况有着直观的了解，熟悉各地的风土人情、经济状况以及社会问题。他们能在国际场合上更好地阐释中国的政策与发展道路，准确地传达中国人民的声音。最后，地下党成员同样在外交领域起着重要作用。这些同志忠诚勇敢，在敌人眼皮底下开展工作，为革命事业默默奉献。他们的较高文化水平和外语能力，使他们在国际交往中具有天然的优势。在外交工作中，他们勇敢无畏的精神转化为坚定的国家利益捍卫者，争取更多国际支持。

周总理从这些不同的来源中挑选了多名优秀人才，其中有16人被提拔进入外交部，担任各国的外交官，其中12人是高级将领，形成了将军大使的队伍。1955年，中国人民解放军首次授衔时，耿飚虽保留军籍，却因为担任大使错过了这次授衔。以他的资历和贡献，完全有可能被授予上将军衔。

1978年8月3日，时任国务院副总理的耿飚在结束出国访问准备回国时，接到了军委秘书长罗瑞卿逝世的噩耗。带着沉痛的心情，耿飚踏上了归国的飞机。罗瑞卿的去世令人深感惋惜，而紧接着确定军委秘书长的接任人选成了当务之急。此时，叶剑英想到了耿飚。1979年1月2日，中央军委扩大会议召开，邓小平公开宣布，耿飚将回军队任职。自1950年离开部队，经过29年后，耿飚重新回到军队，担任军委秘书长。当他站在镜子前，穿上军装时，仿佛回到了年轻时的岁月，脑海中浮现出那些难忘的革命经历。他兴奋地走到院子里，在雪松下拍了一张身着戎装的照片，随后迫不及待地去拜访老战友，分享自己重新回归的喜悦。

1979年11月，因工作繁忙，邓小平决定不再担任总参谋长。关于总参谋长的接任人选，邓小平让耿飚先向叶剑英征求意见。1980年，许世友成为中央军委常委，开始赴京任职，和耿飚的往来逐渐增多。在一次聊天中，两人回忆起1955年授衔的事情，耿飚表示当时未获得军衔有些遗憾。许世友问他：如果授衔，你觉得自己适合什么军衔？耿飚笑着回答：其他的我不敢说，肯定是排在你前面的。

1981年，耿飚就任国防部长，成为新中国成立后第一位没有军衔的国防部长。尽管耿飚因为没有军衔而感到遗憾，但作为一名军人，他始终把国家的需要放在首位，哪里有需要，他就会毫不犹豫地去哪里，他从不计较个人的得失。