聂荣臻率领总参谋部的同志，为完成这项任务，进行了夜以继日的不懈奋斗。

1950年，军队总人数已发展到550万人。

战争已基本结束，国家经济建设和军队现代化建设都需要钱，显然保持如此庞大的军队是不必要的。

1950年5月，聂荣臻在全军参谋会议上宣布，军队精简150万人，保留400万人。

一次要裁军150万，无疑是件极为复杂的工作。

为此，军委和政务院于1950年6月联合发布了《关于人民解放军一九五年的复员工作的决定》。

随即就成立了军委和政务院共同组成的复员委员会，周恩来任主任，聂荣臻为副主任。

为完成好任务，聂荣臻要军队各级领导务必做好思想工作，说明复员后参加国家经济建设是项新的光荣任务，使复员士兵高兴地离队，思想不通的可暂不离队。

军队还要协助地方政府做到务必使每个复员军人都各得其所。

他还到7月召开的全国民政工作会议上作报告，动员地方各级领导大力支持这次军队复员工作。

由于工作深入，这次大规模的复员工作进展顺利，短期内使几十万军人复员到了地方。

后来，朝鲜战争爆发，这项工作未进行到底，有的复员军人因工作需要又回到了军队。

1952年1月初，聂荣臻向毛泽东报告，为进一步精简部队，建议以40个师约40万人集体转业到铁道、水利、林业、建筑工程、农垦等经济建设战线工作。

毛泽东1月4日即批示：这个计划很好，以40万部队转业到工程和屯垦战线是完全可能的，应即刻筹办。

由于大规模的复员转业工作进展顺利，聂荣臻得以在1954年12月在全国军事系统党的高级干部会议上宣布，确定全军总定额为350万人。

军队如此规模的精简整编工作，对本身的正规化、现代化建设起了重要的促进作用。

军队要进行正规化、现代化建设，就要加强军队领导机关建设和军队院校建设。

为此，聂荣臻1950年3月向毛泽东写报告：(一)继续加强海军、空军司令部建设，筹建炮兵、装甲兵、工程兵司令部，并提出了军兵种领导人选建议。

(二)总参作战部建立军务局、测绘局，情报部以军委一局、二局合并组成，组建通信部、军训部、军校部。

(三)总后勤部组建军需、军械、财务、运输、卫生部。

(四)筹建总干部部。

(五)加强航空、海军、防空、测绘、机要学校和军医大学，筹建正规的炮兵、工程学校。

(六)筹建军事学院，成为建设正规化国防军的训练中心，深造军队高级干部。

此前，1949年11月，他向毛泽东写了创办海军学校的报告。

1952年3月，又向毛泽东写了成立军事工程学院的报告。

这些报告都获得批准。

各总部、各军兵种领导机关的创立或加强，各军队院校的创立或加强，都大大推进了人民解放军的正规化、现代化建设。

军队要正规化、现代化，必须有统一的规章制度和编制体制。

为此，聂荣臻领导总参谋部做了大量工作。

1950年初起，聂荣臻就要总参谋部起草各种条令、条例，以便部队有所遵循。

总参谋部当年就编写出了步兵操典，发全军试行，虽然很不完备，但总算有了一个比较适合我军传统和现状的步兵统一操典。

总参还组织班子编写了内务、队列、纪律条令，用了约1年的时间起草完成。

1951年1月，聂荣臻奉毛泽东之命，批准以总参谋部命令的形式颁布了这3个条令，发全军试行。

1950年8月，聂荣臻发布了《关于建立值班制度的命令》。

命令说：自即日(8月28日)起，总参作战部、情报部、通信部及空军司令部、海军司令部都要建立不分昼夜的24小时值班制度，有来自各地的长途电话和军委首长电话时，要随叫随到，不得延误，值班人员接到上述电话时，要进行登记，以备查考。