16年6月下旬，北伐军扫荡鲁南。张宗昌、孙传芳重新整顿，于济南会议决定乘革命军兵力不能兼顾之际，反攻徐州。张宗昌之白俄军乘铁甲车猛攻，北伐军虽英勇抗御，终难扭转形势，7月24日退出徐州。
蒋中正为了实践徐州会议时的诺言，遂于民国16年8月12日宣布下野。
随同蒋中正离开南京的，有胡汉民、吴敬恒、蔡元培、李石曾、张静江等。蒋中正离京后先至上海，再转返原籍奉化。
蒋中正于9月28日自上海动身赴日本，曾在东京发表告日本军民书：
“不佞来游，虽为日尚浅，而观于贵国国民对中华民族之观念，无彼我之别，充满平等之精神，已得极亲爱之印象。贵我两国之关系，孙先总理常以兄弟之国相许，相信贵国国民希望中华民族之自由与独立，必较他国为更切也。然则贵国朝野如彻底谅解我国民革命运动，对之与以道德上精神上之援助，不利用举国民所痛愤之军阀，以阻挠国民革命之进行，斯即对我国民革命运动为莫大之助，同时且为两国根本亲善之要谛也。如是国民革命之完成，得使两国益加睦辑，俾贵国在东亚之地位益形安泰。同时或得以贡献于世界之和平乎！三民主义之国民革命，于民族历史上革命精神上抑于世界思想趋势上，必可完成。无论如何之强权，必不得永久抑压阻挠之也。”
1月10日下午1时3刻蒋中正由日本返抵上海，国民党第二届中央执监委员乃齐集上海，于12月10日召开第四次全会预备会议，通过复任蒋中正为国民革命军总司令，阎锡山、冯玉祥等亦推代表至上海促驾，国民党更吁请汪兆铭发表宣言出国考察，并解散特别委员会。
元月4日，蒋中正由上海返南京，5日宣告复职，重组国民革命军总司令部于南京三元巷。通电昭告全国，继续行使国民革命军总司令职务，除政治、党务追随中央诸委员共同负责外，同时秉承中央指导，专司军令，俟北伐完成，即当向中央正式解职以谢去年弃职引退之罪。
元月8日国民政府特任蒋中正为北伐全军总司令，以国民革命军之作战军、国民军联军之作战军、北方革命军之作战军、航空军之全部组织北伐军，由总司令统辖指挥之。
北伐军总司令蒋中正
参谋总长何应钦
第一集团军总司令蒋中正（兼），总参谋长杨杰
（辖第一军团刘峙，第二军团陈调元，第三军团贺耀祖，第四军团方振武，总预备队朱培德，炮兵集团陈诚，后方警备部队钱大钧，航空队张静愚，铁甲车队屠金声。）
第二集团军总司令冯玉祥，总参谋长刘骥
（辖第一方面军孙良诚，第二方面军孙连仲，第八方面军刘镇华，第九方面军鹿钟麟，骑兵第一军郑大章，铁甲车集团刘自珍。）
第三集团军总司令阎锡山，总参谋长朱绶光
（辖右路军徐永昌，左路军商震，中路军商震，预备队丰玉玺，炮兵集团周玳。）
海军总司令杨树庄，参谋长李景
（辖第一舰队陈季良，第二舰队陈绍宽，练习舰队陈训咏，鱼雷游击队曾以鼎。）
同时军委会另颁密令三则，分电蒋中正、冯玉祥、阎锡山、杨树庄等遵照，其文如次：
“某总司令勋鉴：甚密，兹颁发密令如下：（一）北伐全军以国民革命军总司令蒋中正统辖之。（二）北伐军之兵力，以国民革命军之作战军，国民联军之作战军，北方革命军之作战军，海军之作战舰队，及航空军之全部任之。（三）各作战军之经理卫生及野战器具材料之补充，除照原有顺序办理外，由军事委员会统筹补助之。”
蒋中正复职后，一面征调第四军缪培南部由粤入赣，方振武部自信阳开归德，方鼎英部自粤经赣、浙转苏，钱大钧部自粤经闽、浙入沪；一面令散住皖、赣、苏、浙军队，准备出发。随复于2月9日亲赴徐州，召集各军官长训话，改编徐、海各军为三个军团，调何参谋总长应钦，留守南京。复指示第一二两集团军在曹、丰间确取连络，实行战略展开。2月16日转抵开封，召集冯玉祥及第二集团军总参谋长刘骥、山西阎锡山代表邵某，第一集团军总参议何成浚，总司令部参谋处长葛敬恩等，商讨北伐大计。与会人士均主早日大举，尤以第三集团军方面主张尤为激切。当晚，蒋、冯两总司令，复密商大举北伐日期，及军队调动，战线调整，军费筹措，军实给养诸大端，决定总攻步骤。
北京方面张作霖在17年2月初旬召开干部会议，图谋反攻，作全面之进犯，到了2月中旬，第二次召集干部会议，决议对京汉及山西方面取攻势，对津浦路方面取守势。最后则改为对京汉及津浦路均取守势，惟对山西则取急剧之攻势。以张学良的三、四方面军主力及张作相军攻晋，以三、四方面军的一部配置于京、汉路对豫北取守势，其他褚玉璞、孙传芳、张宗昌三部，则配置于大名、济宁、临沂一带，对南取攻势防御。打算先下山西，然后向南进展。