在6月12日于广州召开的中共三大上，陈独秀就“二七”大罢工的经过作了报告，并由“二七”大罢工失败得出结论：无产阶级力量薄弱，不足以与军阀对抗，必须发动国民革命，而国民革命的领导核心为中国国民党，因此，全体共产党员加入国民党的问题成为此次大会的中心议题。这正是共产国际关于共产党与国民党关系问题的决议，是共产国际对中共中央的指示。
在激烈辩论中，李大钊、瞿秋白等人对这一决议表示赞同，张国焘却依旧固执己见。早在一个月前，马林为了这一决议能在三大上顺利通过，曾拿着共产国际关于这一决议的文件给张国焘看，希望他能够支持共产国际，同意全体共产党员加入国民党。而张国焘并没有接受西湖会议的教训，当场与马林发生激烈争吵。如今，张国焘一如既往地站出来反对，令马林怒不可遏。马林在讲话中称：
“我完全同意陈独秀先生的观点，这也是共产国际的决议，全体共产党员必须加入国民党，在国民党内部积极工作，任何低估国民党和夸大工人阶级力量的说法，都是‘左’倾的空谈。”
“即使是‘左’倾，‘左’的错误也比右的错误更容易改正"张国焘与马林针锋相对，“我认为，工人阶级只有在自己政党的旗帜下进行革命，才有可能取得最后胜利"
会议最终通过共产国际的决议，决定在保持党在政治上、组织上独立性的前提下，全体党员以个人身份加入国民党。按照共产国际的成规，反对国共党内合作的人要向大会表明态度。曾支持张国焘的毛泽东首先起身表示服从大多数的决定，接着蔡和森也表示接受，但张国焘却一脸不服气地说：
“我接受，但我保留原有意见。”
“好，你有保留的权力。”马林气得暴跳如雷，“毫无疑问，保留意见就意味着你仍会发表反对言论，仍会由此引起党内纠纷。此种行为非予以制裁不可"
最后，在大会选举中，张国焘以40票中仅得6票而落选，失去中共中央领导人的地位。8月末，张国焘被任命为全国铁路总工会总干事，于9月初，心灰意冷地返回北京，回到李大钊身边。