孙中山离开广东前，曾到大埔县三河坝视察粤军，又在汕头的粤军司令部同陈炯明等讨论了军事工作，促使粤军早日入闽。旋即经台湾、日本，前往上海。在长达两年多的时间里，他在十分困难的情况下工作着，并准备开展新的斗争，以捍卫迭遭践踏毁弃的共和国。他集中精力从事著述，力求“以主义普及国民”。他回顾了走过的战斗道路，希望从中获致裨益于当前斗争的经验与教训。在《孙文学说》的《自序》中，他承认多年的革命活动归于失败：“夫去一满洲之专制，转生出无数强盗之专制；其为毒之烈，较前尤甚。”《国父墨宝》，第7~19页，北京北方杂志社1948年版。所以如此，“实多以思想错误而懈志也”。他批评了表现为“知易行难”观念的因循苟且的陋习时，强调了实践的广泛可能性——“知难行易”。世界和中国发生的重大历史事件，促使他思考和探索。孙中山同列宁领导的苏维埃国家建立了直接的联系，他收到了外交人民委员齐契林的复函。1919年爆发的“五四”运动，给孙中山以很大的启示和激励：“一般爱国青年无不以革新思想为将来革新事业之准备，于是蓬蓬勃勃，发抒言论，国内各界舆论，一致同倡，各种新出版物为热心青年所举办者，纷纷应时而生，扬葩吐艳，各极其致，社会遂蒙绝大之影响，虽以顽劣之伪政府，犹且不敢撄其锋。此种新文化运动，在我国今日诚思想界空前之大变动。”《总理全集》第3集，第343~348页。其次，“整顿党务”也是孙中山的主要活动内容。1919年10月，正式宣布将中华革命党改组为中国国民党，所以加上“中国”两字，以表示区别于1912年组建的国民党。公布了新的规约，“以巩固共和，实行三民主义”为宗旨。总部分设总务、党务、财政三部，孙中山以总理身份指定居正、谢持和廖仲恺为主任。在此前后，孙中山反复阐述了革命政党的重要作用，批判了辛亥革命后一度流行的“革命军起，革命党消”的论调：“革命未成功时，要以党为生命。革命成功后，仍绝对用党来维持。所以办党比无论何事都要重要。”《总理全集》下册，《演讲》丙，第10~11页。他还强调必须以三民主义为政纲，因为它所规定的任务都未实现。以为“民族主义可以不要”的观点是错误的，帝国主义至今还在“压制中国人”，“我们还是三民主义，缺一不可”《中国国民党本部通信》第60期。。反对北洋军阀的斗争从未停顿，孙中山不断地促成四川、湖南、福建等地的革命党人的团结与奋斗，同时，集中精力于驱除桂系军阀的策划。他联络唐继尧、刘显世和其他反桂力量，更主要的是敦促驻闽粤军回师广东，以便“扑灭桂贼”和“统一南方”，然后“出师北上”。陈炯明迟疑不决，只是在桂军三路进迫下才出师讨桂。由于群众支持和其他反桂武装力量的配合，粤军进展顺利，1920年10月攻克广州，桂系残部逃回广西。

在新的形势下，孙中山于11月由沪赴穗。他抵达广州后立即重组军政府，继续履行职务。但他已意识到军政府不能适应形势的要求，应当建立正式政府。孙中山在1921年元旦举行的南京临时政府成立纪念会上明确指出：“此次军府回粤，其责任固在继续护法。但余观察现在大势，护法断断不能解决根本问题。”因为“护法不过矫正北政府之非法行为，即达目的，于中华民国亦无若何裨益。况护法乃国内一部分问题，对内仍承认北京政府为中央政府，对外亦不发生国际之地位之效力”。所以，“广东此时实有建立正式政府之必要”。上海《民国日报》1921年1月11日。尽管陈炯明等不表赞成，但孙中山的正确主张得到了大多数人的支持。4月，国会非常会议选举孙中山为非常大总统，通过《中华民国政府组织大纲》。孙中山于5月5日就职，并组建了民国政府。