毛泽东主席在1958年８月北戴河中央政治局扩大会议上说，现在有“花”（指军官肩章上的军衔标志），发薪水都要有等级，分将、校、尉，可有的还没有打过仗，结果是脱离群众，兵不爱官，民不爱干，因为这—点和国民党差不多。1959年5月31日，时任国防部长的彭德怀元帅在访问阿尔巴尼亚与斯库台党政负责同志交谈时说：“我不喜欢人家叫我元帅。因为这是战争的结果，是跟人家学来的。我不喜欢肩上这两块牌牌，将来会没有这东西的。”这种真实流露出的朴素感情，在当时军队高层领导人中有一定的代表性，反映了人们对军衔制认识上的局限。而这种认识上的偏见给军衔制的发展埋下了致命的隐患。

1959年“庐山会议”后，林彪接替彭德怀出任国防部长。60年代初开始，林彪大搞“突出政治”，陆续提出并推行了一套极“左”的东西，给军队正规化建设带来消极的影响。一些条令条例和规章制度被废止，军衔制也被视为资产阶级的建军原则和法规，而遭到非议。由于军衔制是50年代中苏关系“蜜月”时期从苏联学来的，中苏关系恶化后，军衔制又被扣上一顶“修正主义”军事制度的帽子。

1964年，为了保持我军艰苦朴素的光荣传统，增强军队和地方的团结，军委考虑减低军队干部的薪金，同地方干部适当拉平。军委常委开了会，拟出了军队干部特别是高级干部的减薪方案，主持军委日常工作的贺龙元帅和总参谋长罗瑞卿大将到北戴河向毛主席报告这个事。毛主席听了汇报，把手一挥说：“减！”贺龙同志又请示说：是不是把军衔牌牌一起取消算了？毛主席立即表示同意：取消，这个牌牌我早就想把它搞掉了。在这以前，毛主席不止一次说过：我看到那个牌牌，就不舒服。过去没有牌牌打胜仗，现在有了牌牌我看要打败仗了。①

贺龙元帅就是根据毛主席的指示提出取消牌牌的建议，并立即得到批准。

1964年11月，中央军委办公厅发出《征求〈关于取消军衔制度的意见〉的通知》称：军委办公会议已讨论同意军衔薪金改革小组提出的《关于取消军衔制度的意见》。《意见》认为军衔制度存在许多不利因素，建议取消。其理由是：“我军的军衔制度，是照搬苏联和其他国家的。过去没有这种制度，也一样打胜仗。实践证明，这种制度不符合我军的优良传统，它是一种资产阶级法权，等级表面化，助长了个人名位思想和等级观念。不利于我军的革命化建设，不利于同志之间、上下级之间和军民之间的团结。同时增加了各级党委和政治机关不少繁琐事务。”显然，这是片面地理解和强调革命化而忽视现代化和正规化的反映。