8月1日凌晨，南昌起义爆发了。

刘伯承协助起义代总指挥贺龙指挥第二十军攻占南昌旧藩台衙门，消灭了驻在该地的国民党第五方面军总指挥部及其下属部队。

同时，刘伯承与代前敌总指挥叶挺指挥的第十一军第二十四师等一起，完成了预定的歼敌任务，上午6时取得了南昌起义的胜利。

上午9时，在原江西省政府西花厅召开国民党各省党部及特别市党部、海外党部代表联席会议，到会代表40余人。

刘伯承和李嘉仲以四川代表的资格出席。

会上选举了革命委员会，下设多种机关，刘伯承担任参谋团团长。

关于参谋团组建过程，周恩来后来回忆：“参谋团当时没有人任主任。

后来我就指定刘伯承同志来做参谋长，他起初谦虚，不肯答应，后来我说一定要你来做，他才担任参谋长职务。”

参谋团的成员有周恩来、贺龙、叶挺、蔡廷锴等。

革命委员会成立后，中共前敌委员会变成了革委会的党团，很少开会，在连日行军作战的征途中，参谋团实际上成了起义军的领导中枢。

刘伯承具有谦虚的品性，政治水平高，军事业务熟练，在他的努力下，临时组成的参谋团，起到了良好作用。

当然，这与周恩来知人善任的领导才干是分不开的。

在参谋团的经历，也为刘伯承以后担任中国工农红军总参谋长打下了牢固的基础。

当晚，周恩来主持参谋团委员会议。

根据中共中央关于立即南下的预定方针，讨论行军路线问题。

刘伯承参与拟定起义军撤离南昌、进军广东东江地区的行动计划和开进路线。

第二天，中共前委对起义军初步整编，决定仍沿用国民革命军第二方面军名义，下辖三个军，革命委员会任命刘伯承为参谋团参谋长。

按兵力计算有16个团，共20500人。

可是8月4日，当起义军开始分批离南昌向临川(抚州)进发的第二天，在左翼行进的蔡廷锴所率的第十一军第十师(4500人)在进贤脱逃，经余江折往浙江。

进军广东东江，有两条平行的路线，刘伯承根据周恩来的意见，不主张走大路(经吉安、赣州、韶关、广州进入惠州地区)，他认为应该走小路去东江：“吉安、赣州等地对起义军直接构成威胁的敌军达4万，而起义军兵力仅有2万，发生对抗难操胜算；临川、会昌路上仅有近3000弱敌，容易对付，即使敌人从他处调兵过来，山间行军困难，可以各个击破他。”

前委接受了这个建议，起义军开始远距离的南下进军。

刘伯承的主要任务是协助三位军长指挥作战。

29日至30日，起义军攻克会昌城，取得了南进途中重大胜利。

9月6日，起义军队到达福建长汀，19日占领了大埔、松口、三河坝地区。

然后，起义领导机关决定分兵，由朱德率第九军教育团和第二十五师留守三河坝，对付从广东梅县向起义军进攻的敌军。

总指挥部率主力继续向潮州、汕头进发，23日、24日两日起义军分别占领了上述两地。

而后，进行了第二次分兵，潮、汕由第二十军第三师两个团和政治保卫处警卫团留守，参谋团率第一师、第二师不足6000人向西夺取惠州。

9月26日至10月1日，疲惫不堪、人员弹药得不到补充的起义军，在揭阳县白石、汤坑、关埠作战失利，主帅周恩来得疟疾仍在普宁县流沙主持紧急会议，宣布不再使用国民党革命委员会的名义，打出苏维埃的旗帜，实行土地革命，要总结南昌起义失败的经验教训，武装人员尽量向海陆丰撤退，其余人员分别由海口撤退，转香港或上海。

刘伯承、周恩来等都分散躲藏到附近渔民家中，选择时机相继离去。

刘伯承、恽代英、吴玉章等人先乘船到了香港，同中共广东省委取得了联系。