孙中山决定在广州树起护法义帜，主要是因为革命党人在那里有着比较深远的影响和其他条件。护法的消息传来，广州人民集会支持。驻粤滇军师长张开儒积极赞助护法运动。省长朱庆澜与盘踞广东的桂系素有矛盾，希图引孙中山以自重。西南各省的统治者陆荣廷、唐继尧等接纳孙中山南下护法，则是因为他们反对段祺瑞“收复两广”、“制服滇黔”的武力统一方针，妄想利用革命的旗号，达到扩展实力和地盘的目的。因此，孙中山只能选择广东作为护法运动的根据地。他在抵达广州后立即开宗明义地阐发了护法运动的宗旨，即“为国民争回真共和”。指出“今日变乱，非帝政与民政之争，非新旧潮流之争，非南北意见之争，实真共和与假共和之争”。《总理演讲新编》，第131~133页，南京，1930年版。“假共和之祸犹甚于真复辟”，因为赤裸裸的“帝制实不能与共和竞争”。《中华新报》1917年7月29日。孙中山还建议电请海军来粤，迅速在穗召开国会并邀请被段祺瑞排斥的黎元洪南来执行总统职务。

孙中山面临的首要任务，当然是建立护法运动的领导机构。在他的积极推动下，南下的议员们于8月下旬举行了国会非常会议(因为不足法定的议员人数)。会议制定了《中华民国军政府组织大纲》，规定军政府的任务为戡定叛乱、恢复临时约法；在约法效力未完全恢复前，中华民国行政权由大元帅行使；大元帅对外代表中华民国。《国会非常会议纪要》，《议决案》，第2~4页。旋即选举孙中山为大元帅，唐继尧、陆荣廷为副元帅。9月10日，孙中山就任大元帅职，表示“当竭股肱之力，攘除奸凶，恢复约法”。《军政府公告》第1号。

为使军政府成为西南各省护法斗争的“军事最高统一机关”，孙中山在桂系军阀的限制和压抑下展开了积极的活动。军政府的大部分作为，都是对军阀头子抗争的结果。内政方面，军政府争取到一定的司法权，得以“兴利除弊，察吏安民”。财政方面，始终极其困难。自军政府部长到办事员，每人月支零用费20元。孙中山委托廖仲恺惨淡经营，爱国侨胞的百余万元的捐款起了很大的支撑作用。发行公债和向外交使团、驻粤税务司力争提存盐税余款，仅有小补。军事方面，孙中山极力促进各省讨伐北洋军阀，先后派出于右任、林祖涵、何成浚、刘冠三等分赴陕西、湖南、湖北、山东等地，发动和组织军事斗争。10月上旬，发生在衡山、宝庆的南北两军的战斗标志着护法战争的开始。孙中山随即发布讨伐段祺瑞令，指斥他“阳托共和，阴行帝制”，业已成为“共和之蟊贼，人民之大蠹”，号召全国各界奋起“讨灭伪政府，还我约法，还我国会，还我人民主权”。《中华新报》1917年10月12日。实际斗争使孙中山迫切感到需要建立一支真正服从革命号令的武装力量，他把这桩重任交付给陈炯明。经与桂系军阀头子反复交涉，才将朱庆澜离粤后遗下的省长亲军20个营改编为援闽粤军开赴粤东。孙中山苦心孤诣地培植这支部队，在财政极为拮据的情况下月拨军费6万元。经过整训，粤军的质量有了明显的进步。