1927年12月11日，中国共产党领导三千多人的武装，在两万多工农赤卫队的配合下，举行广州起义。

聂荣臻与张太雷、叶挺、恽代英、叶剑英、杨殷、周文雍等一起，领导了这次起义。

10月中旬，叶挺、聂荣臻到设在香港的广东省委秘密机关报到。

由于没有记住杨石魂告诉的联络暗号，衣服又穿得破破烂烂，一付狼狈相，他们到省委机关接头时，对方竟说，先生，你们认错门了。

说完，把门关上不再理睬了。

叶挺性急，想发脾气。

聂荣臻忙把他拉到一旁，轻声说：老总啊，这是我们党秘密工作的规矩，在敌人的眼皮底下，不能不警惕呀。

于是，他拉着叶挺转身离开，在街上转悠。

像样的饭馆，他们不敢进，怕引起怀疑，就找了个小饭摊，买了两碗饭，加几根广东香肠，凑合着吃饱了以后，又找了个小旅馆住下。

聂荣臻说，我们还是上街买身衣服，洗个澡，形象像样一点再去接头。

叶挺表示同意。

他们来到一家服装店，挑了两套合乎身份的衣服。

聂荣臻身无分文，叶挺有经验，身上带了不少港币。

叶挺拿出一张100元的港币，交给店主，店主一看是百元大票，就反复看，然后说，这是假票。

叶挺一听火了，把那张100元的港币撕了，又掏出一张100元的港币来，刚要递给店主。

聂荣臻一想不好，连忙把叶挺拉到一边，低声说：“老总呀，你怎么这样干呢?人家看你这样不在乎，100元的大票子随随便便撕了，不怀疑我们吗?”叶挺想了想说：“我撕得有道理，不然，他怀疑我用假票子，找来警察，不就更麻烦了，我撕了，就没事了。”

聂荣臻觉得这种说法也有点道理。

于是他们又进了另一家服装店，各自买了合身的衣服。

回到旅馆，洗了个澡，比原来整洁多了，再次到原机关接头。

聂荣臻怕再次被拒绝，想了个办法，他对叶挺说，根据我的经验，那里肯定是个秘密的接头机关，没错，但是忘了暗号，可能还是要被拒绝。

你不要急，听我的。

去了以后，果然，对方说，两位，我们不认识你们啊，怎么又来了。

聂荣臻就说，我认识你们的黄锦辉先生，告诉他，我叫聂荣臻，在某某旅馆等他，有要事要同他商量，把我的特征告诉他，请他务必来找我们。

这一招果然灵。

第二天，黄锦辉就来旅馆找到了聂荣臻、叶挺。

接上头以后，广东省委书记张太雷找叶挺、聂荣臻谈话。

张太雷表示同意叶挺去澳门探亲，但要叶挺在家待命，不要离开。

张太雷问聂荣臻有什么打算?聂荣臻说，我光杆一人，一切听从组织分配。

张太雷说，那好，你是中央军委的，本来可以回中央军委去，但眼下广东省委军委正缺人手，你就留下来吧。

军委书记是我兼的，但我太忙，你去以后，军委的日常工作就由你主持。

广东省委军委除了聂荣臻以外，当时有黄锦辉、叶剑英、曾干庭等几个人。

11月7日，发生了以张发奎、黄琪翔为一方，以李济深、黄绍为另一方，两派军阀为争夺广东地盘而引发的激烈战争。

省委有些领导认为，这是个好时机，主张组织广州起义。

省委就此开了几次会议进行讨论。

聂荣臻参加了讨论。

会上有所争论。

张太雷等主张组织广州起义，在广州树起苏维埃大旗，以形成全省的大暴动乃至全国的大暴动。

聂荣臻、黄锦辉等不同意组织起义。

聂荣臻在几次发言中强调：南昌起义刚失败，革命正处于低潮，我们还没有缓过气来。

在李济深发动的“四一五”反革命政变中，广州的革命力量又备受摧残，在广州最有威信最有战斗力的省港罢工工人，大部分已经被迫回到香港。