四一二反革命政变后，叶剑英毅然放弃高官厚禄，发出“通电全国反蒋”电文，与蒋介石彻底决裂，只身到武汉，投奔中国共产党。到武汉后，刚刚升任第四军军长的张发奎，早年也在“援闽”粤军中任职，同叶剑英是老相识。这时，他雄心勃勃，急欲网罗将才，邀叶剑英到第四军军部工作。于是，叶剑英随第四军参加了第二次北伐。获胜后，从河南回师武汉，第四军扩充为国民革命军第二方面军，张发奎升任总指挥，叶剑英被正式任命为第四军参谋长，当时军长为黄琪翔。

当时，在国民革命军中，第四军的共产党人和进步青年最多，政治工作活跃。张发奎、黄琪翔对共产党的态度也比较好。叶剑英在这里结识了一些共产党员，多次向他们表示了跟随共产党革命的愿望。叶剑英恳切地向经常同他交往的一位早年入党的老党员提出入党要求。这位老党员同意介绍叶剑英入党，并向周恩来作了汇报。周恩来说：这个人我了解，可以吸收进党。1927年7月上旬，党中央批准叶剑英为中国共产党正式党员。为了保密，暂时不要他和其他党员发生联系。叶剑英从一个追随孙中山民主革命的国民党高级军官转变成为实现共产主义奋斗终生的革命战士。后来，在一次谈话中，他回忆自己走过的曲折艰难的道路说：“我自己对于共产主义的认识是逐步提高的。1924年提出入党的要求，没有批准。那时在蒋介石那里当团长，有人说是蒋介石嫡系部队的团长，这没有说错。1927年四一二以后，看到共产党的同志对共产主义有坚定的信心，又看到蒋介石那样反动，我就反对蒋介石。经过这个考验，决心就定了，所以1927年正式参加了党。”

军情急如火。叶剑英从黄琪翔那里获悉这一消息后，连夜下山，找到叶挺，将汪精卫等人的密谋悄悄地告诉了他。他们商定立即通知第二十军军长贺龙、第四军政治部主任廖乾吾以及高语罕，到甘棠湖烟水亭附近碰头。他们坐在一只不大引人注目的小划子上，以划船赏景为掩护，共同商议对策。经过短时间的磋商，他们决定了三件事情：（一）贺、叶不上庐山；（二）贺、叶部队不按张发奎命令集中德安，而是开往牛行车站到南昌去；（三）叶挺的部队第二天先行，贺龙的部队第三天行动。最后，叶剑英对叶挺、贺龙、高语罕等说：“你们如有什么动作要告诉我。”会后，贺龙、叶挺立即按计划行动，使汪精卫的阴谋没有得逞。

贺龙、叶挺“竟敢公然违抗”命令，令汪精卫、张发奎等人大为恼火。7月29日，他们在庐山又作出了妄图进一步镇压和消灭共产党的三条决定：（一）严令贺龙、叶挺限期将军队撤回九江；（二）封闭九江市党部、九江书店、九江《国民新闻报》，并逮捕其负责人；（三）第二方面军实行清共。为了把敌人的反共阴谋及时报告党组织，叶剑英又一次秘密来到九江，找到了当时还留在九江的二十军党代表，要他把一封极为火急的秘密信件，迅速转给领导起义的党组织。信的大意是：张发奎靠不住了，对他不能抱任何幻想；反动的庐山会议，已作出捕杀共产党人的决定，希望把握局势，尽快举行起义。同时，通知还留在九江的高语罕，说明敌人已经觉察他和廖乾吾的身份，劝他二人迅速离开九江。