冯玉祥的节节胜利，更遭张作霖妒忌。此时，原在一次直奉战中溃败的吴佩孚死灰复燃，在中国南方纠合地方军阀，自封为“十四省讨贼联军总司令”，蜂拥北上，矛头直指冯玉祥。张作霖也趁机挤对冯玉祥的军队，公开以污辱方式挑衅。败将李景林也乘机再起，联合张宗昌再攻天津。冯玉祥在三面受敌的情况下，方知一着棋错，全盘皆输。沮丧之余，索性于1926年1月4日通电下野，将部队交给既无威望又无才略的张之江统率，自己到天台山僧寺中闲住。冯玉祥此举给他的部队带来新的危机。

为了进退有据，西北军从京、津撤出，集中于京北南口，准备坚守大西北基地，伺机另图大业。张作霖、吴佩孚等决心消灭冯玉祥军，分别从南、北两方向南口调集军马。正当恶战一触即发的紧要关头，冯玉祥突然要去苏联“游历”，冯部主将们当然不会赞同，但冯玉祥的决定从来是不可改变的。3月23日，即“南口大战”事实上已揭开序幕的时刻，冯玉祥率随员数人从平地泉出发，经蒙古去了苏联。由于他的出国，西北军面临的本来极其严峻的局面，变得更加险恶起来。

西北军此时拥有兵员15万人，虽然装备较差，但士气高昂，就总体战斗力而言，堪称军阀角逐场上的一支劲旅。冯玉祥启程前，战略上作了“守察攻晋”的部署。冯离去后，张之江重新调整编制，将全军分为东西两路共9个军，以宋哲元为西路军总司令，率部从雁北攻略山西；以鹿钟麟为东路军总司令，守卫南口正面，以拒南来之敌。冯治安作为卫队旅长，直属张之江总司令部。赵登禹则隶属于刘郁芬部，任团长。

南口之战，无论从军力对比还是从指挥员、战备决策等方面衡量，西北军都处于极不利的地位。冯玉祥苦心经营的这支军队，几乎全军覆没。