吴佩孚衡阳撤防是改变南北形势的一个惊人行动。后来吴成为北洋时代风云人物也是由此开始。
吴师撤防是从9年5月20日开始。吴事前曾电请张敬尧派员到衡州协商接防问题。张敬尧派湖南暂编第二师师长（北军）吴新田为“主持湘南防务司令官”，于21日到衡州，与吴佩孚及湘军代表签订条约，南北两军维持原有停战界线，湘直两军停战协定继续有效。一直到吴师自动撤防的前夕，北京政府才有电报批准直军撤防。吴师开拔时作环次队形的布置，主力第三师居中，湘江两岸各设掩护队，前方设有侦察线，后面设有殿卒，大军扬帆而下，全军齐唱吴所亲撰的《登蓬莱阁歌》。
吴有《回防途次》诗曰：
行行重行行，曰归复曰归。江南草木长，众鸟亦飞飞。忆昔赴戎机，长途雨雪霏。整旅来湘浦，万里振天威。孰意辇毂下，妖孽乱京畿。虺蛇思吞象，投鞭欲断淝。我今定归期，天下一戎衣。舳舻连千里，旌旗蔽四围。春满潇湘路，杨柳正依依。和风送归鸟，绿草映晴晖。少年惜春华，胜日斗芳菲。来路作归程，风景仍依稀。周公徂东山，忧搀亦畏讥。军中名将老，江上昔人非。建树须及时，动静宜见几。何日摧狂虏，发扬见国威。不问个人瘦，惟期天下肥。丈夫贵兼济，功德乃巍巍。江上送归舟，风急不停挥。得遂击楫志，青史有光辉。春日雁北向，万里动芳徽。鸿渐磐石愿，衍衍不啼饥。止戈以为武，烽烟思郊圻。同仇复同仇，归愿莫相违。
吴师于5月20日开始撤防北归，27日由水路经过长沙。张敬尧怕他舍舟登陆，战长沙，夺帅印。所以在湘江右翼配置了强大的兵力，但只作防御准备。而吴师根本无上岸打算，虽亦作紧急戒备，不过是怕张军袭击而已。双方均未挑衅战火，吴师乃扬帆而去。
吴师于5月29日过岳州，也未停靠，31日集中汉口，由于车辆缺乏，一直到6月5日才开始向北移动。
吴佩孚虽然请张敬尧派军接防，可是实际上他是决定把衡阳移交给湘军的。湘军骁将赵恒惕是他心仪的人物，两人惺惺相惜。所以吴师整装待发的时候，就是湘军执戈待动的时候。不过，当时的形势对湘军是很不利的。张敬尧是北洋勇将，他的军队已经扩充到7万人，他自兼北军第七师长，可是他所直属的部队则有湖南暂编第一第二两师和第一混成旅。归他节制指挥的还有协助长沙防务的第十一师（师长李奎元），驻防湘潭的第廿师（师长范国璋），驻防常德的第十六混成旅（旅长冯玉祥），驻防湘东的暂编第一师（师长张宗昌）和安武军一部分。
衡州和宝庆是长沙的前方两个重点，张敬尧派他手下的两员大将，湖南暂编第一师长田树勋守宝庆，兼长宝镇守使，第二师长吴新田守衡州。
张敬尧是安徽霍邱县人，出身是徐淮间的流寇，后来入伍为小兵。癸丑二次革命时，他随李纯入赣任第六师的团长，由此擢升为第七师长。老袁称帝前，他在北京同兴饭馆对人扬言说：“大总统做大皇帝，下一道上谕就成了，干什么还要研究和请愿？”有人把这些语报告袁，袁生气说：叫这个老粗不要乱讲话。可是心里则喜欢他的憨直。护国军起，袁派他入川，袁死后，他又向张勋递门生帖子。复辟失败，他倒向皖系，成为对南方主战派的中坚。他是反直系长江三督的主要人物之首，由于他是跟李纯起家的，他骂李纯最有力量，他的通电大骂秀帅夫子（李纯字秀山），以讨好于芝老上将夫子（段祺瑞字芝泉）。段赏识他头脑简单，所以把湖南督军宝座送给他。
据说张在督军任内时，曾文正的曾孙女曾宝荪在长沙创办艺芳女学，曾宝荪的父亲是文正长孙老翰林曾广钧（重伯）。宝荪从小就跟英国女教士巴小姐赴英国留学。张竟动念头到这位小姐的身上，遣人邀曾翰林赴督署一谈。曾广钧到督署见到张，口呼督军老伯，敬尧愕然不知所对，面对着文正公的长孙，对自己如此称呼，不无受宠若惊，邪念为之大减。曾辞出后向人说：“听说张督军的先君讳总愚，我先祖曾保荐过他，这样算起来张督军自然是我的父执了。”其实这是曾的苦肉计，把张敬尧的辈份提高。使他不能动后辈的念头。张总愚究竟是不是张敬尧的父亲，谁也不知道，张总愚是捻军的头目，后来被招安的。
吴师撤防以及北归的经过，及抵河南布置情形，兹特抄录张一麐所编《直皖秘史》一段，其中叙述甚详，张文云：
“吴佩孚将湘南撤兵事宜布置妥善，至军队分水陆两道陆续开拔后，遂于廿五日由衡阳乘舟启行。各界人士均至河干欢送。经过株州、湘潭，均受各界欢迎。至廿八日上午，直军前队已开到省垣，人民站立观看者，大有牵袂成帷之势。吴部士兵均赤手对坐，状极闲雅，且有扣舷而高唱军歌者，一望而知其为久经训练，纪律严明之师，络绎而来，前后共过廿一班。然后红旗招展，气笛呜呜，而吴氏所乘之‘新鸿运’火轮至矣。于是岸上军乐大作，军警均行举枪敬礼。吴氏船上亦频频鸣号答礼。湘督张敬尧亲自出迎，以吴氏不肯登岸，即率军政要人分乘火轮，驶近‘新鸿运’，随即过船，与吴氏谈叙十分钟之久，始返棹而回。