1926年3月20日，是个星期天。

聂荣臻一早来到黄埔港码头，坐上小客船，驶向广州。

他要到广州去向中共广东区委汇报工作和接受指示。

聂荣臻1925年9月回国，经上海来到广州。

中共广东区委书记陈延年、区委军事部长周恩来同他谈话，分配他到黄埔军校政治部当秘书，领导政治部的组织和宣传两个科，兼任政治教官，又是黄埔军校中共党组织的负责人之一，工作一直很忙。

为及时汇报情况和受领任务，他每周总要去广州一次。

这次，客船快要到广州市区了，突然对面中山舰上的水兵对客船厉声吆喝：“靠上来，靠上来!”聂荣臻乘坐的小客船只得靠了上去。

登上中山舰，聂荣臻看到甲板上已经有不少人，大多是共产党员和进步师生。

大家都低着头，不说话，气氛显得紧张。

聂荣臻问水兵，“你们为什么要扣人?”水兵说：“这是上级的命令，我也不知道为什么?”聂荣臻又问先被扣押的人，“不许说话，这也是上级的命令!”水兵说。

联想到近两天黄埔军校不断传闻可能要有事变发生，聂荣臻知道出事了，就不再说话。

好在时间不长，当天下午三四点钟，一个海军军官向大家宣布：“没事了，诸位都可以走了。”

下了中山舰，聂荣臻直奔中共广东区委机关。

他看到机关里只有几位看门的工友，说这里也曾经被军队包围，人员都疏散了。

晚上周恩来回来了，对聂荣臻说：早晨，得知广州市戒严，第一军中的许多共产党员遭逮捕，命令都出自蒋介石之手，就赶到造币厂去责问蒋介石，被蒋介石软禁了一天。

后来，陈延年、军委委员黄锦辉等也陆续回来了。

大家把情况凑在一起，可以清楚看出，中山舰事变完全是蒋介石一手策划的阴谋。

周恩来、陈延年、聂荣臻、黄锦辉等越议越气，都主张反击。

周恩来说：2月份蒋介石就有反共苗头，同国民党右派勾得很紧，但没有引起有关领导的重视。

现在蒋介石能够指挥的就是第一军，第二军到第六军的5个军长都不会听他的，而我们在各军都有党代表。

即使是第一军，3个师中，有两个师的党代表是共产党员。

我们完全有能力反击蒋介石。

大家都同意周恩来的分析。

聂荣臻补充说，黄埔军校中还有很多党、团员，现在在校的黄埔学生，大部分是同情支持我们的。

如果反击，他们会站到我们方面来，这是有把握的。

但共产党员最讲组织纪律性，究竟怎么办?大家同意要等党中央的决定。

蒋介石在中山舰事变后，坚持要共产党员退出第一军和黄埔军校。

中国共产党当时的领导人，在蒋介石的阴谋面前，表现得软弱无力，决定接受蒋介石的条件。

于是，聂荣臻于此时退出了黄埔军校，到中共广东区委任军委委员，同黄锦辉一起，协助周恩来工作。

当时军委的主要任务，是为北伐战争做准备。

为此，聂荣臻奔忙于国民革命军各军、黄埔军校等处，向这些单位派遣中共党员，了解情况，传达党的方针、政策等。

5月上旬，叶挺独立团作为北伐军先遣部队，途经广州。

聂荣臻陪同周恩来去独立团，接见连以上党员干部。

周恩来用“饮马长江”的豪言壮语，鼓励大家努力北伐。

聂荣臻看到叶挺等与会干部，个个意气风发，甚为鼓舞。

7月9日，国民革命军誓师北伐。

不久，聂荣臻被任命为中共广东区委军委特派员，随北伐军行动，仍从事联络工作，向带兵的共产党员传达中共中央和军委的指示，把下面的情况向上汇报，帮助北伐军解决遇到的困难问题，并沟通北伐军与各地党组织的联系。