1942年底，谭平山在周恩来、董必武的启发帮助下，通过甘祠森穿梭于政界、教育界、工商界，联络陈铭枢、杨杰等进步人士，发起组织了“民主同志座谈会”，以座谈国内外时事为名义，团结教育国民党内民主分子坚持抗日。“通过座谈会，大家交了许多朋友，为民联的建立打下了组织基础。民联的第一批成员，主要是从座谈会中挑选的”。这些人，“政治认识上明显有进步，有些原来对共产党怀疑很重，对进步力量采取疏远态度的人，慢慢改变了态度”。

抗战胜利后，1945年10月，在“民主同志座谈会”的基础上，正式成立了“三民主义同志联合会”（简称“民联”），谭平山、陈铭枢、杨杰、柳亚子等七人当选为中央常务干事，主持民联日常工作。民联的成立，使谭平山有了一个比较可靠的反蒋阵地，宣布：“我现在和蒋介石、国民党一刀两断，绝不参加他们的一切活动。他们如果想迫害我，在重庆呆不下去，我可以去解放区。”

1946年5月，谭平山与李济深、冯玉祥等乘“民联”号轮船，离开重庆前往上海。谭平山在上海继续反对国民党蒋介石的专制独裁统治，因此国民党特务分子加强了对他的监视，并伺机下毒手。有一次，谭平山偕夫人上街，一个特务骑着自行车迎面撞来，其夫人当即被撞倒，脚部受伤，谭平山因走在后面得以幸免。1947年春，有人告诉谭平山，蒋介石想干掉他，劝他赶快离开上海。谭平山感到在上海已难以立足，不得不化装出走香港。

谭平山到达香港后，立即与逃亡出来的民主人士结合起来，继续进行反蒋活动。1947年底，谭平山出席了在香港召开的国民党民主派第一次代表大会，并当选为大会主席团成员。1948年元旦，中国国民党革命委员会在香港成立，谭平山当选为中央常务委员，成为民革的重要创始人。

1948年4月30日，中共“五一口号”发布后，谭平山表示坚决拥护和热烈响应，并在香港《华商报》发表《适时的号召——论中共“五一”节口号》一文，深刻阐释了中共“五一口号”的重要意义。随后，周恩来特别指示谭平山，要以民主党派身份带动其他民主人士北上解放区。谭平山随即身体力行，应中共之邀首批踏上了北上解放区的旅途。