起初，蒋介石还能听进孙中山的劝告，但他对陈炯明的不满还是有增无减。陈炯明未采纳蒋介石的意见，结果没有全部消灭桂系军阀。蒋介石愤怒之下，拂袖而去，前往上海。

他打电话给孙中山，解释他离职的原因，但此时孙中山已无心思听蒋的抱怨了。在他看来，陈炯明已实现了他的目的，即将桂系军阀赶出广东，桂系军阀尚有残余留存，但却无妨大局，孙中山决定返回广州，重建军政府。孙中山要求蒋回广州，履行自己的职责。蒋一气之下，回到老家溪口探家去了。

即使蒋长期不在职，孙中山仍十分信任他。1920年11月底，蒋终于返回广州，发现给他的职位是重建的军政府内政部部长，而这并不合他的胃口。

另一方面陈炯明已开始建立自己的势力，他的职务头衔甚至超过了孙中山：陆军部长、广东都督、粤军总司令、两广最高检察长。

1921年1月12日，在广州召开国会议员大会，进行投票选举。尽管代表不足法定人数，孙中山作为“革命之父”已数次成为正义力量的领袖。这一次，孙中山希望通过法律程序成为当然的领袖。4月，国会议员选举孙中山为全国非常大总统。5月5日，孙正式宣誓就职。

尽管许多传记渲染孙中山和蒋介石的亲密关系，但有一点很明显，孙中山从来就未认真考虑蒋介石的建议，也未将他当做自己的知心朋友。蒋介石再三劝告孙中山不要搞这个选举，因为这种选举未达法定人数，缺少法律效力；而且一旦南方联合瓦解，不再效忠政府，这种选举便毫无意义。蒋介石争论说，任何不同意见都应被考虑。

蒋介石最后这次负气离职，时间近三个月。他不断受到各个方面的压力，要求他回广州，为孙中山效劳。他最后竟失去耐心，将国民党的说客给打发走了。1921年1月5日，蒋就他的行为写信表示道歉：“我脾气暴躁，行为鲁莽，……事后反省，深感惭愧，意识到自己太可笑了。”

孙表示原谅他的行为，但也说：

“我兄——你过于固执己见，实为不可救药。任何小事于你不满，你都火冒三丈。”

蒋介石自己回忆说，在读了来访者带来的信后，他感动得几乎流泪，他决定返回广州。

陈炯明在击败他的对手桂系军阀后，手下已有几个师组成的庞大队伍，这时他准备在中国南方建立自己的封建割据势力。因此，他对孙中山的继续西伐桂系的命令拖延不理，更不用说蒋介石的任何建议了。

1921年2月在广州，蒋介石已察觉出陈炯明的野心，但孙中山还不相信。

蒋之所以仍然回到广州，一方面是由于孙中山再三催促，另一方面是他一直渴望有机会彻底铲除广西的残余桂军。此时，这位内政部长最愁的是缺乏经费，因此暂时还顾不上向陈炯明挑战。蒋介石认为，征收关税是筹集资金的最佳办法，但问题是在北京的外国使馆和公馆不承认广东军政府，拒绝与之合作，而陈炯明也支持外国使馆的态度。正是这个原因，促使孙中山进行选举，以当选非常大总统。因为这样一来，就使得他和北洋政府的首脑一样，具有平等的法律地位。

1921年5月，蒋介石写信给孙中山，表示完全反对这个选举计划。他认为：广西的军阀还未彻底清除，西南部也还未得到控制，此刻没有时间进行选举。更何况，选举因议员不够法定人数而缺乏法律依据，他写道：“在平息广西的叛乱后，我们可望继续向东北进军，直捣敌人的心脏”。他还充满信心地写道：“统一全中国并非一个非常艰苦的任务。”在信的最后，他再次提醒孙中山不要轻信陈炯明。