1925年，冯玉祥的势力虽逐步向西北各地扩展，但其重心仍在河北北部及平津一带。一方面，直系吴佩孚军阀因其发动“首都革命”而垮台，一直怀恨在心，伺机攻冯。另一方面，奉系张作霖势力入关后，依仗其雄厚的军事力量，把持北京政府大权，对冯玉祥部亦多加排挤，逼迫国民军退出所驻通州、北宛及南苑等地，让给奉军驻扎。不久，奉系张作霖进一步图谋向南发展，发动对浙江督军孙传芳的战争。因战事失利，张作霖希望冯玉祥援手，但被冯拒绝。奉系遂转而以全力压迫冯玉祥部，以巩固北方然后再派兵南下，双方即在平津一带展开激烈的战斗。

到1926年初，迫于各方的压力，冯玉祥不得不宣布下野，并于3月赴苏联考察。冯玉祥下野后，所部继续遭奉系张作霖、直系吴佩孚、晋系阎锡山以及直鲁联军的围攻，损失惨重。4月，冯部在鹿钟麟、张之江、李鸣钟、宋哲元等的率领下，相继退出平津地区。其时，赵登禹已升任刘郁芬部团长，驻防兰州。这时，甘肃亦受到吴佩孚等军阀部队的围攻，刘郁芬采取收缩兵力，固守兰州，同时广为联络甘肃地方武装，固守待援的方针，与进攻之敌抗衡。赵登禹率部积极参加作战，为保全冯玉祥在甘肃的势力作出了贡献。

1926年8月17日，冯玉祥结束在苏联3个月的考察，离开苏联首都莫斯科回国。在苏联期间，他深为苏联建设成就所折服，同时与国民党、共产党代表多有接触，对国内的大革命及北伐表现出很高的热情。9月16日，冯玉祥偕同苏联顾问乌斯曼诺夫及共产党员刘伯坚等抵达五原(今内蒙古包头市附近)，次日召集所部将领开会，决定成立国民军联军，并出任总司令，参加北伐，同日举行誓师大会。这就是历史上著名的“五原誓师”。

此后，冯玉祥在苏联及中国共产党的帮助下，迅速整编部队，并确定“固甘援陕，联晋图豫”的战略方针，以图首先巩固根据地，恢复自己的力量。不久，在冯玉祥派出的援军到达后，兰州之围被解，甘肃得到平定。