1927年3月，谭平山被任命为武汉国民政府农政部长，负责农民和土地问题。同年4月，谭平山出席在武汉召开的中共“五大”，并被选为中共中央委员、中央政治局委员。会后又与毛泽东等人一起被任命为中共中央农民委员会委员。谭平山强调，“中国革命就是要解决农民问题”，“农民问题摆在面前，不能怀疑，不能等待”。但随着农民运动的深入发展，又被党内外许多人指责为“过火”行为，这使谭平山陷入了左右为难的尴尬境地。

蒋介石发动“四一二”政变后，中共中央遵照共产国际的指示，为了拉住所谓的国民党“左派”汪精卫，不断地妥协让步，甚至要求参加政府的共产党员“请假”，以减少“政局之纠纷”。1927年6月底，谭平山不得不“因病请长假”离开农政部。但这也未能挽救危局，随着汪精卫发动“七一五”政变，国共合作宣告彻底破裂。

1927年7月19日，谭平山与李立三、邓中夏等从武汉到达九江，随即主持召开座谈会，决定发动南昌起义，并派人请示中央。从现有资料看，这是第一次提出南昌起义问题，谭平山也由此成为南昌起义的最早发起人。

7月27日，谭平山与贺龙、恽代英等到达南昌，随即成立了以周恩来为书记的前敌委员会，负责领导起义工作。谭平山虽然不是前敌委员会的成员，但由于他在国共两党中的崇高威望，又是这次起义的最早提议者，因此一直参与前敌委员会的领导工作，并负有重要的政治责任。

起义准备工作一切就绪后，张国焘突然于7月30日以中共中央代表的身份赶到南昌，竭力阻挠起义的进行，说：“中央意见宜慎重，国际电报说如有成功把握，可举行暴动，否则不可动。”谭平山当即和张国焘争吵起来，大骂张国焘“混蛋”，甚至提出如果张国焘再继续反对起义，就把他杀了。正是由于谭平山等人的坚持，南昌起义才得以如期举行。

8月1日，南昌起义爆发，胜利的红旗插上了南昌城头，并随后成立了革命政权机关——中国国民党革命委员会，由谭平山出任主席团主席。谭平山对起义的成功异常兴奋，认为：“过去中央采取妥协政策，只有八一南昌起义，才算真正把领导权掌握起来，从而开创了我党和中国革命的一个新时期，因此它可以和十月革命相比。”