当时，谭平山虽然被国共两党开除党籍，“但是他并没有因此消沉”，仍然关心着中国革命的前途。于是，谭平山利用自己在国共两党中的威望和影响，将上述各方面的人士召集起来，于1928年2月在上海成立了“国民党左派联合办事处”，随后定名为“中华革命党”，以继承和发扬孙中山用中华革命党改组国民党，努力复兴中国革命的精神。

由于中华革命党的主张既不同于国民党，也不赞成当时中共的一些“左”倾政策，因此被人们称为“第三党”。这也招致了国共两党的不满和打击。以蒋介石为首的国民党攻击它是“共产党的工具”、“共产党的附庸”，而当时的中共“左”倾中央则“指斥他们在反帝运动和民众运动中动摇犹豫和妥协”。中华革命党在谭平山的领导下，十分艰难地开展革命斗争。

1930年5月，国民党左派领袖邓演达回国后，将中华革命党改组为中国国民党临时行动委员会，继续从事反蒋斗争。谭平山支持邓演达的反蒋主张和行动，但因在党的改组问题上与其发生严重分歧，于是主动解除了自己对第三党的领导责任，离开上海到香港继续从事革命活动。

全面抗战爆发后，谭平山从香港经广州回到武汉，要求参加抗日。蒋介石特别召见他，让其参加起草《抗战建国纲领》。1938年4月，国民党临时全国代表大会在武汉召开，谭平山被恢复国民党党籍，并被聘任为新设立的国民参政会参政员。随后，他又被任命为三民主义青年团临时中央干事会常务干事兼法制委员会主任。然而，不久他对国民党蒋介石的幻想就破灭了，决定不再参加国民党、三青团的会议。

当时，中共驻重庆代表周恩来、董必武在了解到谭平山的情况后，对他给予了很大帮助和关怀，使他再次感到了党的温暖。1939年冬，谭平山经过严肃认真的思考，郑重提出要求恢复中共党籍，并离开国统区到延安去。对此，董必武希望他继续留在国统区工作，争取团结各种抗日民主力量，那样比去延安更能发挥作用。谭平山欣然接受，表示：“今后我的行动与党的行动同一步调，党的态度就是我的态度。”