4月10日，蒋介石又宣布解散共产党人占优势的国民革命军总政治部。

同一天，上海青帮头子黄金荣等通电反共，要其党羽“揭竿为旗，斩木为兵”，消灭共产党。

陈独秀也有些着急了。

于是中共中央决定，派李立三、陈延年、聂荣臻，同共产国际代表苏联人维辛斯基紧急赶往上海，弄清情况，并同周恩来一起，领导上海的反蒋斗争。

聂荣臻的任务是协助周恩来处理武装斗争方面的问题。

待聂荣臻一行到达南京，震撼全中国乃至全世界的“四一二”反革命政变已经发生，大批共产党员和革命群众倒卧在血泊之中。

李立三、聂荣臻等于4月13日晚上到了上海。

到了赵世炎家里，了解了初步情况，以后又通过赵世炎，找到了周恩来。

到上海后，聂荣臻遵照中央和周恩来的指示，立即着手在工人纠察队中进行工作。

在同工人的接触中，他逐步知道了“四一二”反革命政变的经过情形。

在事变中，数以万计的游行群众，被打死一百多人，伤者不计其数。

马路被鲜血染红，惨绝人寰。

随后蒋介石在全上海疯狂地搜捕、屠杀共产党员和革命群众的行动全面展开，上海总工会被封闭，上海的中共各级党组织全部被迫转入秘密状态。

4月16日至18日，由周恩来、李立三、陈延年、赵世炎等组成的特务委员会召开会议。

周恩来在会上发言，主张共产党联合国民党左派，先讨伐蒋介石，再进行北伐。

聂荣臻完全同意周恩来的意见。

但陈独秀对此没有表态，仍在谋求同蒋介石妥协。

4月下旬到5月上旬，聂荣臻住在颜昌颐家里，协助周恩来，将幸存的工人纠察队员转入秘密状态，隐藏好枪支弹药，设法营救被捕人员，对牺牲和被捕的工人纠察队家属进行救济。

5月中旬，聂荣臻同周恩来一起，秘密乘轮船溯江而上，回到了武汉。

“四一二”反革命政变，使聂荣臻对蒋介石的认识，从封建把头、反动政客，上升为反革命阴谋家。

蒋介石两手都拿着刀，凶狠残暴，对待这样的敌人，革命者也只有拿起刀，走武装斗争的道路，才能使中国革命免遭厄运。

这就是在中国大革命的困境中，聂荣臻得出的结论。

5月25日，中共中央决定成立军事部，由周恩来任部长。

湖北区委军委并入军事部，聂荣臻任周恩来的助手，同王一飞、颜昌颐、欧阳钦等一起，协助周恩来，对军队进行组织、联络和政治工作，指导武汉工人纠察队和广东、湖南两地的农民运动。