新中国成立初期，为了解决没有专业的外交人员这一问题，中国的外交舞台上出现了一批“将军大使”，他们在行军中经历过严格的历练，纪律严明，战场上叱咤风云，为帮助新中国打开外交局面，他们实现了从“将军”到“大使”的角色转变，他们从“枪杆子”到“谈判桌”，克服重重困难，出色地完成了外交使命。
新中国首批“将军大使”包括耿飚、袁仲贤、王幼平、谭希林等12人，他们都是从部队中选拔征集的高级干部，也都是将军。在众将星云集的外交大使之中，有一人是新中国向西方派出的首位大使，他就是耿飚。
年的元旦刚过，19兵团*委李志民告诉了副司令耿飚一个消息：上级命你去北京做外交工作。听到这个消息的耿飚可是意外极了，首先他不懂外语，其次他一直是拿着枪杆子在打仗啊。
直到来到北京，毛主席接见了首位驻外大使们，告诉大家暂时不懂外语也能当好大使，又以汉代的著名使臣班超和张骞为例，打消了大家恐慌不懂外语的顾虑。就此，耿飚身上肩负了中瑞关系的友谊往来，耿飚从开国将军变成了驻瑞大使。
7月，耿飚携家属和工作人员出发前往欧洲。这是他第一次出国，第一次转上外交战线，也是第一次乘坐国际列车，之后的很多第一次实际上也是新中国外交史上的第一次。在出使瑞典期间，耿飚就恢复我国在联合国的合法席位问题，同联合国秘书长进行了直接接触，他做出的这项努力，是中国外交上的无法忘记的一页。
年，耿飚转任驻巴基斯坦大使，年底，周总理出访印度和巴基斯坦等5个国家时，耿飚留意了国际形势，告知周总理最好不要去尼赫鲁总理的家乡，因为此地或许会因立场问题，造成巴基斯坦的误解，他将缘由分析给周总理听后，周总理十分赞许地说道：“你这个意见提醒了我！”
年1月，耿飚被任命为外交部副部长，不仅帮助陈毅处理了大量的涉外案件，更是致力于南亚、东南亚几个国家边界条约的签订与协定。3年后，他出任驻缅甸大使，为促进中缅友谊做出了不可磨灭的功劳。
耿飚最后一次出任大使是在年，当时阿尔巴尼亚是我国外交的重点国家之一，派出大使关乎两国未来的发展，周总理特意找耿飚谈话，并希望他能够尽快赴任。5月16日，耿飚抵达了阿首都地拉那。当时，阿尔巴尼亚迫切需要得到我国的外交援助，并提出了巨额的援助需求。
而当时我国的经济尚未完全恢复，耿飚发现了问题所在，写信直陈，提出对外援助应当量力而行，如果有求必允，那就极有可能是把钱财资金倒进了一个无底洞，并建议对援阿的国模和内容进行通盘考虑和修改。毛主席看到他的报告，直言耿飚是个敢说真话的好大使。
在驻阿一年多的时间里，他因一次意外事故摔断了左腿骨，只得回国进行治疗，之后便出任了中联部部长。中美建交以后，耿飚率领我国军事代表团访问美国，并受到美国总统卡特的接见，耿飚把对外交往与促进祖国统一大业有机结合起来。在访问华盛顿的时候，还拜访了蔡文治，希望他以后能够为海峡两岸的交往起到促进作用。在此之后，他开始致力于议会外交，并推动了中国的代表参加各国议会联盟（议联），加强了我国和世界外交舞台的联系与合作。
耿飚作为新中国的“将军大使”，不辱使命，深化了与周边国家的外交关系，并赢得了国人民的尊敬，更是为新中国外交事业攒出时间，续上了一批新的职业外交人才。