鲍罗廷的建议无疑使广州的中共党组织陷入尴尬境地。谭平山时任国民党中央组织部部长，一直被看作是亲近汪精卫的左派人士，中山舰事件后始终没有同蒋介石接触。他对鲍罗廷的建议“苦笑不语”。张国焘宣称，广州市流传的有关破坏国共合作的谣言与中共无关，中共方面只知道有个党务整理方案，却不了解详细的内容，如果中共方面向蒋介石表示忠诚，这“未免太过抹煞中共的地位”。但在鲍罗廷的再三劝说下，张国焘、谭平山只好前往东山拜访蒋介石。他们按照鲍罗廷的要求，向蒋介石表达了中共对国民党二届二中全会的态度。蒋介石自然是“色然而喜，频频表示欣慰”。

5月15日，国民党二届二中全会在广州召开。蒋介石当选为主席团成员，并担任当天会议的执行主席。会上，蒋介石以“消除疑虑，杜绝纠纷”以及“改善中国共产党与国民党的关系”为由，提出《整理党务案》、《选举中央执行委员会主席案》、《国民党与共产党协定事项案》以及《全体党员重新登记案》等4项提案。

其中，《整理党务案》是蒋介石与谭延闿、孙科、朱培德、宋子文、甘乃光、陈公博、伍朝枢等联名提出的。主要内容有两条：一是整理党务案的四项原则：改善国民党与中国共产党的关系；纠正两党党员妨碍两党合作的行动与言论；保障国民党党纲党章的统一权威；确定中国共产党员加入国民党的地位与意义。二是组织国共两党联席会议，审查两党党员妨碍合作的行动、言论及其纠纷问题，协定两党有连带关系的各种重要事件。

《选举中央执行委员会主席案》由蒋介石、谭延闿、谭平山、伍朝枢、程潜、甘乃光、陈公博等联名提出。建议设立国民党中央常务委员会主席一人，监督党务工作的进行。这项提案实际上从组织上进一步排斥了汪精卫。

《国民党与共产党协定事项案》是蒋介石单独提出来的，共有九条。大部分条文是蒋介石同鲍罗廷事先商谈好的。后来又增加了一条，即：凡他党党员加入国民党者，在高级党部（中央党部、省党部、特别市党部）任执行委员时，数额不得超过各该党部执行委员总数的三分之一。这项议案一提出，“全场相顾惊愕”。

《全体党员重新登记案》也是蒋介石单独提出来的。内容是：国民党全部党员进行重新登记；各地党部需要统一，没有中央命令的党部一律取消。

这段时间，蒋介石同鲍罗廷又亲热起来。5月16日，蒋介石在审查整理党务案之后会见了鲍罗廷，说国民党党员消极抵制共产党，不能积极地奋发自强。甚至担忧国共两党党员“混合革命，小党胜于大党”。他乘机提出，革命非统制不可，否则不能成功。鲍罗廷竟然被蒋介石的花言巧语所感动。当晚，蒋介石又赶往鲍公馆看电影。

5月20日，会议选出国共两党联席会议代表。其中，国民党5名，包括蒋介石在内，共产党只有3名。5月21日，会议发布北伐宣言。22日，会议闭幕。蒋介石在当天发表讲话，为提出整理党务案辩解。他说，他这次是以国民党员的身份提出整理党务案的，如果像外界所说的那样，以为提出整理党务案的是一位有实力的军人，那就完全错了。他提出整理党务案，是“鉴于现在时局的纠纷和环境的险恶，实在有不能不整理之势，才提出整理党务的办法。”他在讲话中还标榜自己如何拥护革命。他说，如果今天有人说我不革命，那就无异于说我反革命，“我不但不能承认，而且要起来反对他。”