一九一六年六月六日，袁世凯的突然病故，结束了政治危机。副总统黎元洪重新召集经选举产生、国民党人居多数的国会；孙中山也偕夫人自日本返国，定居上海法租界莫里埃路二十六号。接下来两年，孙中山和他的核心支持者们都居住在法租界里，彼此照应。蒋介石若到上海，有时候会住在张人杰家；现在张取代陈其美，成为他的“老师”。76蒋的爱妾姚冶诚也随他从日本回国，蒋把她安置在宁波。一九一七年九月，蒋向孙提出一份进攻北京、统一全国的军事蓝图——他称之为“北伐计划”。

蒋一连四年为党奔走各方，接二连三忙着一个又一个起事计划，但一九一六年至一九一七年的活动却罕为人知。在他始于一九一八年的日记中，曾经略为提到这段期间的事。他曾提到，一九一七年春天奉已经前往广东的孙中山之命，应该是从德国领事馆领取了一百万元德国政府答应借给革命党的钱。二○○六年蒋氏家人交给胡佛研究所档案馆的蒋氏日记副本（一九一八至一九二二年），有一百多页经过编修——有些是家族所编辑，有些则是数十年前经蒋本人或其儿子所修订。鉴于删除的这些记事已时隔九十年，它们极有可能是关系到蒋氏家人觉得尴尬或有所牵连的行为或意见，也因此各方猜测颇多。

我们或许可以相信，蒋在这段时期参与了青帮的一些犯罪活动。一九一四年，上海的英国籍保安处长曾针对蒋发布逮捕令，指他涉及“小沙渡的犯罪”，但并未说明详细犯罪情形。这个指控可能有关此时他和陈其美在上海从事、后来失败的地下工作。一九一七年十月，北洋政府的淞沪护军使向英国公共租界警署提出状子，指控蒋涉及“一九一○年谋害公共租界知名华人”，那是七年前的事。但有可能它指的是一九一三年一月的陶成章被刺事件，却把日期弄错了。一九一○年，蒋只有夏天在上海逗留，又无其他报道指出有类似的犯案。一九一八年七月，同一个护军使又指控蒋“涉及一九一七年十月十八日发生在公共租界西华路的武装抢劫案”。英国当局或许认为所控事件是中国各党派斗争的一部分，怀疑这项指控有政治动机，并未逮捕蒋。

二○○八年时，蒋家有位成员断然表示，家人针对蒋氏日记所做的修正，绝对没有涉及青帮、犯罪活动或政治事件，只跟“个人私事”有关，不涉及政治议题。但即使如此，有关前面一类的记载也不无可能是由蒋本人或其儿子经国删除的。

从一九一八年起，蒋每天以文言文至少写下一页日记。这个习惯一直维持到一九七二年，因为健康原因才告终止。蒋的日记中，除了记录一天里发生的大事以及感想之外，还记下每天起床、就寝的时间，温度和天气。进入二十世纪二十年代后，日记中也列举自己的缺点，此举固然反映儒家修身思想对他的影响，也表示蒋承认自己行为的一些不成熟。不过，列举的缺点并没有得到很好的改正。孙中山对蒋的严重缺陷就看得很清楚，但是他也看到蒋可贵的特质，如坚忍不拔、忠心耿耿、大胆不畏死，接连失败和死里逃生都挫折不了他的斗志。

袁世凯过世后，中国政治陷入一片混乱，北京接二连三上演军阀政变闹剧。一九一八年，国民党籍国会议员逃往广州，和孙中山联手发动“护法运动”，成立临时军政府，推举孙为陆海军大元帅。广东和云南的军事统治者都宣誓效忠，其中就有粤军首脑陈炯明。尽管头衔赫赫，但孙中山即使对广州的新政府——事实上，它派系林立——也并不具有绝对权威。