但是，由于敌强我弱、寡不敌众，起义队伍随即撤出南昌城，并在南下途中失败，谭平山也因此被迫流落港澳。在此期间，武汉国民党中央于8月8日宣布开除领导南昌起义的谭平山、林伯渠、恽代英等人的国民党党籍，褫夺现职，缉拿讯办。对此，谭平山得知后，不过一笑了之。但令他没有想到的是，11月9—10日，中共中央临时政治局在上海召开扩大会议，处分了一大批党内干部，毛泽东被开除出政治局，周恩来也受到纪律处分，谭平山则受到最严厉的处分，直接被开除党籍。

后来，周恩来曾回忆说，谭平山“被开除党籍的原因，是张国焘反对南昌起义，谭平山对一位师长说，张国焘若反对起义就把他杀掉。当时我任前委书记，这位师长来征求我的意见，我说党内斗争不能这样做。后来有人把这事告诉了共产国际代表，共产国际代表就决定把谭平山开除了。今天看来，这个处分是不完全妥当的”

李立三则指出：“谭平山在南昌暴动是一贯的机会主义。他单独的行动与国民党左派联合宣传要组织新的党，沿途开始新党的活动（其实在武汉时已开始），企图成立第三党。谭平山离开党的倾向在南昌暴动完全表现，后来党开除谭平山。”当时，中共党内许多人都认为，第三党比国民党右派还要坏，是绝对不能容忍的。

1928年春，谭平山回到上海，到处寻找党组织，却无人理睬。这时，他才得知自己已被开除党籍。谭平山认为处分过重，心里很不服气，曾多次写报告，请熟人转交党组织，要求进行复议，恢复党籍和去苏联学习，但始终没有得到同情和理解。当时，谭平山无处申述，无法辩解，也无法参加党的任何工作，心情十分沉重：“像一个在大海中航行失去了指南针的小船一样的痛苦。”

大革命失败后，许多国民党左派人士和一部分失去组织关系的共产党员纷纷云集上海。他们在政治上找不到出路，生活上又没有着落，在茫茫上海滩无所适从，就像“无坛庙可归的青年游魂”。