孙中山对创办黄埔军校更是寄于了很大希望，他试图按照苏联红军的模式建立一支新型的军队，然后完成他的北伐大计。所以，他不会批准蒋介石的辞呈。蒋介石离开广州之后，孙中山让廖仲恺接任黄埔军校筹备委员长一职。廖仲恺一面抓紧筹备工作，一面电告蒋介石：“党事讵可因兄而败，已代告假半月。来沪之军官学生，请即将近考验，事竣即归。”

大致就在这个时候，应邀来黄埔军校的第一批苏联军事顾问抵达广州，包括捷列沙托夫、切列潘诺夫、格尔曼、波里亚克。他们于1月下旬拜会了孙中山。在礼节性的问好之后，孙中山和盘托出了他创办黄埔军校的意图。他说，中国人民最恶毒、最强大的敌人是帝国主义，他们豢养着中国的军阀，如果我们把帝国主义赶出中国，那么，我们就不必费多大的力气，就可以打倒国内的敌人。因此，“我们的首要任务是按照苏联式样建立一支军队，准备好北伐的根据地。”他当即表示：“在现今的革命斗争中，十分需要学习俄国人。”他希望苏联军事顾问把本国反对帝国主义武装干涉、并把他们赶出去的丰富经验传授给黄埔军校的学生。

2月29日，孙中山亲自致电蒋介石，希望他立即返回广州，切勿延误。此后，廖仲恺又连续七次电告蒋介石。在3月24日的电报中，廖仲恺劝告蒋介石，为避免使孙中山受到“精神上痛苦”，请“即行”。在孙中山、廖仲恺的反复催促下，4月26日，蒋介石回到广州，并于当天在黄埔军校发表训话。他说，黄埔军校是国民党培植干部，扩展本党势力，实行三民主义，使中国成为一个真正的独立国家，使中国的民族成为一个真正的自由民族。

5月3日，孙中山任命蒋介石为黄埔军校校长。两天之后，黄埔军校开学。第一期学生有500人，其中工人、农民和城市小资产阶级家庭出身的人占了大多数，中共党员和共青团员有80多人。

黄埔军校参照苏联红军制度办学，设立了党代表和政治部等机构，实行军事教育同政治教育并种的教学方针，并且制定了一套政治工作制度。苏联顾问和中国共产党人共同制定了政治教学大纲。不仅如此，苏联还向黄埔军校提供了200万卢布的开办经费。

国民党的改组与第一次全国代表大会的召开，莫斯科终于下决心援助孙中山。这种援助不仅是精神方面的，还有物质上方面的，包括人力、武器和财力。黄埔军校的创建，就是这种援助的结果。孙中山同苏联的友好关系由此建立起来。这时候的蒋介石至少在表面上已不再公开反对国民党同莫斯科的联合了，而是在各种场合下赞扬苏联共产党和红军。