平津战役结束后，聂荣臻于1949年2月1日进入北平。

进城以后，作为华北军区司令员，平津卫戍区司令员，他主要抓了以下几件工作：首先是傅作义25万起义部队的整编工作。

由于政策、措施得当，这项任务很快就完成了。

二是剿灭华北地区残留下来的近3万名土匪，这项工作到1950年初也基本完成了。

三是恢复和整顿平津地区的社会治安秩序。

这项工作比较复杂，特别是他担任了北平市市长、市军管会主任以后，这方面的主要任务都落在了他的肩上。

但由于采取了一系列有效措施，在各级领导的共同努力和人民群众的大力支持下，这项任务也较好地完成了，为新中国定都北平，提供了良好的社会保障条件。

1949年6月，聂荣臻被任命为副总参谋长，协助兼任总参谋长的周恩来进行工作。

1949年10月，聂荣臻任中央人民政府人民革命军事委员会委员、副总参谋长，因总参谋长徐向前病休，随即任代理总参谋长。

新中国百废俱兴，周恩来工作很忙，所以从1949年6月起，聂荣臻就实际主持总参谋部的工作，一直到1954年粟裕任总参谋长止。

总参谋部当时面临3项主要任务：解放战争的后期作战，军队的正规化、现代化建设和1950年以后的抗美援朝战争。

这3项工作经常交叉进行或齐头并进，所以任务是很繁重的。

为了应付这些繁重的任务，聂荣臻采用了每天开碰头会议的工作方法。

每天早晨他先到作战部看各方面的情况报告，8点就召集各部负责人开碰头会议，把要处理的各项工作经研究决定后分头去办。

这种会议，经常邀请有关的军兵种的领导人参加，称联席会议。

联席会议和碰头会议，大大提高了工作效率，大家都很赞成。

辽沈、平津、淮海3大战役结束后，国民党正规军总兵力大约只剩下180万人左右，还有地方保安部队及游杂武装几十万人，而且基本上都退到了长江以南地区。

协助中央军委领导，指挥和部署各野战军，消灭这180万国民党残余部队，和几十万地方游杂武装，成为总参谋部的第一项任务。

当时主要的作战行动，都是由毛泽东代表中央军委直接指挥的。

总参谋部则在情报保障、电文的上呈下达等方面起协助作用。

1949年4月21日，毛泽东、朱德下达了《向全国进军的命令》。

各野战军随即向国民党残余军队发动猛烈进攻。

1949年7月，第一野战军先后举行了扶、兰州、宁夏等战役，共歼灭和改编国民党军三十余万人，解放了西北全境。

8月至10月，第三野战军举行了福州、漳州、厦门战役，歼敌10万，华东沿海大陆全部解放。

7月至12月，第四野战军先后举行了衡(阳)宝(庆)、广东、广西战役，共歼敌四十余万人，解放了中南广大地区。

11月、12月，第二野战军举行了解放贵阳、重庆以及成都、滇南、西昌等战役，共歼敌93万余人(含地方部队和游杂武装)。

1950年3月至5月第四野战军解放了海南岛、万山群岛；第三野战军解放了舟山群岛。

至此，除台湾、澎湖、金门、马祖等岛屿以及西藏而外，中国人民解放军已经解放了中国全部国土，结束了解放战争的后期作战行动。

1950年6月，聂荣臻在全国政协一届二次会议上所作的军事报告中说：自1949年4月我军举行渡江(长江)战役以来，已经解放了除西藏、台湾、金门等以外的全部国土，歼灭国民党正规军183万人，非正规军和土匪98万人，取得了重大胜利。

在解放战争的后期作战中，聂荣臻对毛泽东采用大迂回大包围“关起门来打狗”的作战指挥艺术，极为钦佩。

1949年10月，在毛泽东主持的中央人民政府人民革命军事委员会第一次会议上，确定了全军“为建设正规化、现代化的国防军而奋斗”的任务。