事实上，他此阶段中的地位是很不巩固的。虽然在汪精卫出国时，蒋总统曾经行使国民党的最高权力，但他的崇高地位，尚未得到老一辈同志所承认。他仍被认为军事的，而非政治的人物。于是随着七月间他所遭遇的军事惨败，他的整个地位更不稳了。他的对手人物如汪精卫、李宗仁、唐生智、冯玉祥、孙科、胡汉民、许崇智等无不自认为革命运动中注定的最后领袖。

自蒋介石第一次下野后，他渐渐明白了一点：在“老一辈同志”眼中，“他仍被认为军事的，而非政治的人物”。在国民党内，这种“不满”和“不服”，是他被逼下野的一个核心所在。当时，持这种看法的人不仅在国民党内，甚至日本人也如此视蒋。这年10月，蒋介石下野赴日时曾感慨道，“到东京后，感想不佳，旧人仍以亡命视余，对国人之欺辱，令人愤慨。”

第一次下野前，蒋介石无论在党内还是在国内政坛上，都只是一颗新星，从军力、财力，到人力储备方面，都存在着巨大的不足，尚无力全面抗衡党内反对派。而此前蒋又过于张扬，没有很好地摆正自己的位置，因此引起众多的不满，所以被逼下野。可以说这次下野是他三次下野中最无奈的一次。

正是基于这样的认识，当1928年1月他复任总司令之初，不得不将北伐军分为四个集团军，分别以蒋介石、冯玉祥、阎锡山、李宗仁分任这四个集团军总司令。二次北伐成功后，除上述四个军事集团外，加上广州的李济深、东北的张学良集团，可谓六大诸侯并存，而各省的小诸侯更是多如牛毛。此时南京中央政府的实际控制范围，只能集中在长江下游几省而已，因此中央政府不得不分设开封（冯玉祥）、太原（阎锡山）、武汉（李宗仁）、广州（李济深）四个政治分会，并任命张学良为东北保安司令。

从1929年蒋桂战争开始，到1930年中原大战结束，蒋介石在党内胡汉民的支持下，为了实现真正的统一，与上述四个政治分会领袖分别展开内战，并最终赢得胜利。尽管蒋介石在军事上获得了空前的胜利，但并没有彻底改变他在国民党内的地位。1931年因与胡汉民约法之争，再度引起党内分裂。

上述四大军事集团虽然在中原大战中暂时认输，但其实力并没有全部瓦解。胡汉民被扣引起的党内分裂，导致党内外反蒋势力空前团结，从而形成宁粤对峙的新局面。在九一八事变前一年，由于有张学良的支持，蒋介石赢得了中原大战。宁粤对峙初期，张学良仍站在蒋介石的一边，蒋还有继续与粤方周旋的资本。随着九一八事变的爆发，首当其充遭到打击的就是张学良集团。与此同时，面对外辱，国民党不得不由对立走向和解。蒋介石再次被迫下野，以此换得党内统一，一致对外。

第二次下野时的蒋介石，虽然在党内的地位并未彻底改变，但所处的环境与实力发生了巨变。从1928年1月复职，到1931年12第二次下野，在这四年期间他牢牢控制着中央政府，无论军力和财力都发生了质变。首先，他透过黄埔军校师学，源源不断地输入到收编的各类杂牌军中，并逐步训练成为蒋所用的部队。例如，原福建周荫人部曹万顺投入北伐阵营后，被任命为第17军军长。1928年底，国军实行编遣，蒋介石将隶属于第一集团军的该军整编为第11师，最初仍以曹万顺为师长，同时任命嫡系陈诚为副师长。半年后蒋就将曹调走而升陈诚为11师师长，一年后11师扩编为第18军，仍由陈诚任军长。此后罗卓英、黄维接任军长，成为蒋介石的五大王牌军之一，也造就了陈诚的“土木系”。 蒋介石就是这样逐步扩大自己的嫡系部队。而第一次下野前完全听命于他的军队只有他的第1军，且军长何应钦还时常不听从指挥。一旦冯玉祥表示服从武汉中央时，蒋介石就失去了抗衡的实力。但到1931年后，他通过中原大战，已经有了以一抵四的实力。