在国共和谈破裂之后，耿飚出任中共第19兵团副司令员兼参谋长，作为“杨罗耿兵团”的三巨头之一，转战华北、西北。

耿飚是正儿八经的将军，可是，后来耿飚却奉命“改行”，去当外交官了。耿飚先后担任了中国驻瑞典、巴基斯坦、缅甸大使，外交部副部长。

在“文革”中，耿飚被打入“牛棚”。

当中共九大即将召开时，外交部的中共党员们选耿飚为九大代表，可是外交部却有人借口耿飚尚在“牛棚”，还在接受“审查”，把耿飚的名字从代表名单中划掉。此事被周恩来获知，报告毛泽东，毛泽东同意把耿飚列入中共九大代表名单。这下，耿飚也就结束了“牛棚”生活。

于是，在1969年5月，耿飚被任命为驻阿尔巴尼亚大使。

1971年1月，耿飚因病回国休养。病愈后，经周恩来提议，任命耿飚为中共中央对外联络部部长。

耿飚为人正直，上任不久便得罪了江青。

本来，江青跟中共中央对外联络部没有什么工作联系。一桩小事，使她领教了耿飚的脾气：

江青此人，颇爱摄影，又爱出风头。她想在《人民画报》上开一个她的摄影专栏，不断发表“峻岭同志”的摄影作品。“峻岭”，也就是江青的笔名。

《人 民画报》是以多种文字向世界发行的杂志，属于外文出版社。外文出版社又属外文局领导，而外文局则归中共中央对外联络部管辖。由于江青的地位特殊，《人民画 报》打了报告向外文出版社请示，外文出版社把报告转到外文局，外文局上报中共中央对外联络部，也就到了耿飚手中。耿飚认为，《人民画报》无此先例，江青企 图凭借她特殊的政治地位破例，不行！

消息飞快地传进江青的耳朵。江青为此大大地生了耿飚的气，以致有一回在春节团拜会上，江青逐一与参加团拜的领导人握手，等见到耿飚时却一扭头！站在耿飚旁边的李先念发觉了这一“细节”，问起耿飚来，方知为了《人民画报》的事，江青对耿飚竟一直耿耿于怀……

当然，《人民画报》的事，只是小事一桩罢了。在江青看来，耿飚和外交界的姬鹏飞、黄镇一样，都是“周恩来的人马”。所以，江青对他们很恼恨。

在粉碎“四人帮”的紧急时刻，叶剑英急调耿飚这位有着多年“文官”经历的武将。