当吴佩孚和张作霖联合起来对付冯玉祥的国民军时，冯玉祥宣布下野，并且自我放逐，前往苏俄考察。他于民国15年5月赴莫斯科，在莫斯科和列宁格勒前后耽搁了三个月。在这三个月中，国内局势大变，他的嫡系部队苦战南口，另一部分往包头撤退，在南口的军队虽然打得很激烈，可是损失也很惨重，南口失陷后就溃不成军，在包头的石友三、韩占元、韩德元等部，则投靠阎锡山。此外则是国民革命军北伐的好消息。
15年8月17日冯玉祥由莫斯科启程回国，经西伯利亚铁路到达上乌金斯克，然后换乘汽车赴库伦。他这次回国是要参加国民党和国民革命军，在库伦开始学习国民党的开会仪式，同时准备汽车粮秣。9月10日由库伦动身，前往包头，在路上碰到溃退的国民军将领，又遇见了于右任，于当时也打算取道库伦往海参崴，再绕海道去广东，于、冯晤面后大家很高兴，就集合在一块去包头。从库伦到包头要经过内蒙的边界和绥远，平沙漠漠，一望无际，偶不小心就会走错了路。在途中冯获知他的旧部佟麟阁、孙连仲、刘汝明等都率部开往甘肃，已过五原，张之江和鹿钟麟则在五原扎营，于是冯等一行决定先赴五原。经过阴山山脉和戈壁沙漠，遇上了宋哲元，9月15日鹿钟麟赶来相迎，当天下午到达五原，西北的败军大批集合在此，除了国民一军外，还有三军的孙岳，五军的方振武和六军的弓富魁。
五原是一个空落落的土园子，人烟稀疏，荒凉冷落得赶不上内地一个较大的乡镇。大家劫后重逢，恍若再世，当时一致推举冯就任国民军联军总司令。
15年9月17日冯玉祥就职誓师，于右任以国民党中央执行委员会常务委员的资格为授旗的党代表，他在就职宣言中说：
“……现在我所努力的，是遵奉孙中山先生的遗嘱，进行国民革命，实行三民主义。所有国民党一、二两次全国代表大会宣言与议决案全部接受，并促其实现。……至于政治主张，我既是一个国民党党员，是国民政府委员之一，一切由国民党决定，国民政府主持，我唯有与诸同志集合全体的力量履行就是了。”
这天于右任头发蓬乱，胡须黑多白少，长及腹部，戴着一顶半旧的黑色学生帽，上穿夹袄，下穿棉裤，外罩一件黑色皮大衣，脚上玄色鱼头布鞋，白布袜子已成灰色。与会官兵服装都是五颜六色，破鞋破帽，领章肩章全没有，有的戴奉军皮帽，有的戴直军布帽，七零八落，非常褴褛。
冯玉祥在五原组军，以鹿钟麟为参谋长，何其巩为秘书长，李兴中为参谋处长，陈连富为副官处长，徐庭瑶为军务处长，宋式颜为军械处长，过之翰为军需处长，张吉墉为军法处长，张允荣为内防处长，薛笃弼为财政委员会委员长，石敬亭为政治部长，乌斯马诺夫（苏俄人，随冯自俄来华）为顾问。
国民军旧部自冯在五原就任总司令后，即纷纷来归，张之江由宁夏来五原，石友三亦由包头赶来，当时包头是阎锡山的势力范围，可是部队全是国民军，所以冯即偕石友三去包头。
于右任已完成了把冯玉祥的国民军纳入革命军系统内，就由五原前往陕西。孙岳在五原病重，因为过去几个月作战辛苦，更加重了他的病势。他的部队改归徐永昌指挥，后来徐永昌率旧国民三军由陕北入山西，驻峪道河。国民二军自在天津战败后，大部退洛阳，岳维峻被俘至山西太原，其残部由李虎臣率领进兵西安，和国民三军的杨虎成等部会合。这时陕西境内有各派系的军队，刘镇华奉吴佩孚命进潼关夹攻西安，井岳秀驻榆林坐观成败，吴新田亦奉吴佩孚命以汉口为根据地。李虎臣、杨虎臣在西安城内被刘镇华所部4万人围困达七八个月，冯玉祥组军后即决定取道甘肃分十路援陕，以解西安之围。
甘肃驻军也非常庞杂，有的受张作霖命令，有的由吴佩孚委任。吴佩孚委张兆甲为甘肃督军，张兆甲据陇东，又委孔繁锦为甘肃省长，孔据陇南，两股力量联合，一自陇东，一自陇南向兰州挺进。兰州在刘郁芬手中，刘郁芬是国民军的师长，由冯委为甘肃督军，下辖两旅，一个旅长是孙良诚，一个旅长是张维玺。兰州附近防御阵地相当坚固，孙良诚又骁勇善战，因此不仅击溃了来攻的部队，并且乘胜进兵陕西，解了西安之围，从兰州到西安是一场艰苦的长距离行军，孙良诚苦战数月，居功最伟。
西安解围后，15年12月上旬冯军攻破潼关，刘镇华率部东退，刘部镇嵩军且有一部为冯军内应，刘乃退陕州。
潼关之战的变化是由于华阴庙一战（华阴庙在潼关西40里），是役刘军损失极重。旧属刘镇华的陕军麻振武部亦自渭北渡河，加入攻刘。刘军大半缴械，纷纷东奔。