第一次直奉战争结束，直系首领曹锟通过贿选，成为中华民国大总统。孙中山义愤填膺，通电全国，予以声讨。已经表态作为孙中山的追随者，冯玉祥自然不甘落后，在徐谦、黄郛等的帮助和推动下，冯玉祥联络第十五混成旅长兼大名镇守使、滦州起义时的老朋友孙岳，以及与孙岳同为老同盟会员的陕军第一师师长的胡景翼，经过精心策划，谨慎布兵，以迅雷不及掩耳之势，于1924年9月22日夜晚，攻占北京城。冯玉祥下令，解除总统府卫队，囚禁贿选总统曹锟。第二天，佩戴着“不扰民，真爱民，誓死救国”臂章的冯军遍布北京全城。随后，已经就任国民军总司令兼第一军军长的冯玉祥宣布，正式废除清室优待条例，将废帝溥仪驱逐出紫禁城。

这就是历史上有名的“北京政变”，亦称“首都革命”。

与此同时，由冯玉祥领衔，国民军众将领电请孙中山先生北上，主持大计。并派马伯援为代表，持冯玉祥的亲笔信，南下迎接孙中山。

令人遗憾的是，由于国民军领导人错误地敦请段祺瑞出山，使“北京政变”的成果大大缩水，孙中山先生也未能如约北上。冯玉祥由陆军检阅使专任西北边防督办，他的国民军第一军改称为暂编西北陆军，从此便有了“西北军”的称谓。而此时，冯玉祥的境遇一度出现险情，走了下坡。1926年初，在直奉鲁军阀的夹击之下，为保持实力，冯玉祥把军权交给张之江、鹿钟麟等人，宣布下野。

当年3月，冯玉祥由国民党中央执行委员徐谦及部分随员陪同，出平地泉并经库伦，与于右任、顾孟余及苏联顾问鲍罗廷相会，赴苏联考察，寻求出路。考察长达三个月之久，所见所闻，使冯玉祥深受触动和鼓舞。他公开表态，拥护三民主义和广东国民政府，并在抵达莫斯科的第二天宣布加入国民党，还为国民军全体官兵办理了集团加入国民党的手续。

6月，冯玉祥从苏联回到国民军驻地内蒙古五原，被推举为国民军联军总司令。9月17日，冯玉祥正式宣誓就职，时称“五原誓师”。面貌一新的国民军，任用了一批共产党人：苏联人乌斯马诺夫为军事、政治顾问，刘伯坚为政治部副部长，邓希贤（即邓小平）为中山军事学校教育长，宣侠父、刘志丹、安子文等亦被分别委以重任。冯玉祥采纳李大钊的建议，“固甘援陕，联晋图豫”，西北军如虎添翼，全军振奋，一路凯歌。

1927年的中国大地，风云突变，浊浪翻腾。冯玉祥也在这时候走了很长一段弯路。当时，他的西北军已经扩展为第二集团军，拥有34个师、20个旅和15个团，多达30余万人，占据陕甘宁青豫鲁六省，在四个集团军中实力最为雄厚。而此时，他却开始在西北军中“清党”，“礼送”共产党人出境，翌年2月，冯玉祥和蒋介石换帖结拜为兄弟。8月，身居第二集团军总司令的他，又荣登行政院副院长兼军政部长高位。