陈其美死后，蒋介石显然一度精神崩溃，蒋母到上海照料他。在袁世凯的天罗地网般的追缉下，他可能得到青帮之助才躲过被捕的命运。一九一七年，他被任命为孙中山的军事顾问，接下来三四年时间寄身“客家将军”陈炯明领导的粤军第二纵队。蒋介石并不信任陈炯明，提醒孙中山要小心。蒋介石既不能自己选择干部、又不能训练自己的部队，建议解散第二纵队，约近一年之后请假离营（前往上海和东京），最后辞职离开纵队。蒋介石后来屡次在情势不佳时就来辞职走人这一招，以证明他是无可取代的。他发觉这一招通常会使得工作环境改善，权力也得以增大。这招果然奏效。孙中山和陈炯明都请他回来改组粤军。蒋介石犹豫不决，直到反对孙中山的桂系部队杀害了孙中山的好友朱执信之后才决定回广州。他决定回粤，也可能是因为孙写了一封言词恳切的信邀他：

执信忽然殂逝，使我如失左右手。计吾党中知兵事而能肝胆相照者，今已不可多得，惟兄之勇敢诚笃，与执信比，而知兵则尤过之。兄性刚而嫉俗过甚，故常龃龉难合，然为党负重大之责任，则勉强牺牲所见而降格以求，所以为党，非为个人也。

蒋介石回到岗位之后，获悉陈炯明没按照他拟定的计划收拾桂军，又是大怒。他到上海向孙中山抱怨此事，孙中山也没给他满意的答复。他对两人都厌烦透了，就以母亲一九二一年六月去世为理由回到溪口，摆脱这个烦人的局势。他来来回回直到十一月把蒋母下葬。

一九二一年十二月五日，蒋介石再婚，这次的对象是他自己选的。新娘名叫陈洁如，英文名珍妮（Jennie）。蒋介石第一次见到她是一九一九年。她又瘦又高，和他乡下的元配完全相反。依据陈洁如的说法，她原先对他并没什么兴趣，躲他躲了一阵子，尤其是他曾把她骗进一家旅馆，企图用强暴的方式占有她。（当时他三十二岁，她只有十三岁。）