1926年1月下旬,国奉战争(也称冯张战争)正式开始。东北张作霖的奉军,以讨伐郭松龄残部魏益三为名,兵进山海关,进攻热河、滦州。在山东由李景林、张宗昌组成的直鲁联军,沿津浦路北上反攻天津。在湖北的直系军阀吴佩孚,在河南打败了国民二军岳维峻部后,兵进河北石家庄,在山西的晋系军阀阎锡山,与吴佩孚相呼应,兵出娘子关,南攻顺行,北攻保定。国民军遭到了直、奉、晋等军阀的联合进攻和包围,最后退守北京。鹿钟麟在北京发动了第二次政变,驱段下台,释放曹锟,愿意迎吴佩孚进京主持政局,但遭到吴佩孚拒绝。4月15日,国民军撤出北京,退至怀柔、延庆、蔚县、多伦、怀来、涿鹿等地,主力各部退到预设阵地的南口。
国民军推张之江为总司令,将国民军编为七个军,以鹿钟麟、宋哲元、李鸣钟、郑金声、门致中、石友三、刘郁芬分任军长。以鹿钟麟为东路司令,率国民军主力守南口、怀来;以韩复渠、石友三守地泉、丰镇,以防晋军继其退路;以宋哲元为西路司令,由热河撤防回守多伦。1926年5月,南口大战爆发。&ldo;讨赤&rdo;联盟军分别在延安、赤城、独石口、沽源、多伦和南口等地向国民军各部发起进攻,在约两千里战线上展开战斗。直奉晋联军共五十多万人,战况空前激烈。直军吴佩孚在直鲁联军张宗昌的配合下,担任南口正面攻坚战;奉军吴俊升率部出热河攻多伦,直下张家口;晋军商震部北出大同以断国民军的退路,企图将国民军消灭在塞北草原上。国民军顽强抵抗,在南口战场,国民军阵地沟深壕涸,前置电网,后设地雷,防御工事长达百余里,联盟军猛攻多日,竟不能前进一步。
联盟军的兵力虽然多于国民军数倍,但直、奉、晋各派军阀各有各的打算,联盟军内部并不统一,作战亦难以协调,在直军中,孙传芳陈兵徐州,准备夺取山东,靳云鹗在南口前线按兵不动,并和国民军信使来往不断,准备配合国民军夺取山西,在奉军中,李景林因曾支持郭松龄而见疑于张作霖,准备回师天津。国民军既与孙传芳、靳云鹗、李景林有如此默契,便于5月中旬,在晋北丰镇、阳高突然向晋军发起猛攻,大破晋军,雁门关外要地尽为国民军占有。
6月,吴佩孚免去靳云鹗的十四省联军副司令、第一军总司令等职务,张宗昌也将李景林部缴械,直、奉、晋各派军阀取得了谅解后,7月,又重新部署兵力,进攻南口。在北路,奉军吴俊升部由多伦攻沽源直下张家口;在正面,由直鲁联军为主攻,经昌平、沙河攻南口,其右翼为奉军一部,在张学良的指挥下经永宁、延庆直下南口后背;其左翼为直军,下分两线,一线由门头沟向怀来,一线由涞源、蔚县攻天镇;在晋北,晋军也发起反攻,攻占广灵。
国民军在联盟军三面围攻之下,艰苦作战,坚持了三个多月。最后,由于多方作战,给养困难,饷械无补,且各部将继绝联络,加之士兵伤亡过半,不得不于8月15日下令总退却,向西突围。退路线均是穷僻之地,联络困难,交通不便,给养医药无着,加之天气寒冷,后面追兵不舍,国民军节节溃败,损失惨重。各部将深感前途无望,因此自寻出路,一部投向山西阎锡山手下,一部开往绥远等地。至此,为时近5个月的南口大战全部结束。这场军阀大战从1月战至8月,双方死伤惨重,这也是北洋军阀之间最后的一次大混战。
冯玉祥在1926年元旦通电辞职后,即离开部队到了包头。同年5月,冯玉祥赴苏联考察。在莫斯科期间,冯玉祥经徐谦介绍,正式加入了中国国民党。国民党中央委员会任命冯玉祥为西北国民军党代表。1926年7月,广州国民政府举行北伐。8月,冯玉祥结束在苏联的考察访问,偕同苏联顾问多人秘密离开苏联经库伦回国。途中,冯玉祥派出刘骥到广州同国民革命军商谈南北会师问题。9月16日,冯玉祥等抵达绥远五原后,即同当地国民军将领孙岳、方振武、弓富魁以及于右任、徐谦等共同决定组建国民军联军,由冯玉祥出任总司令。9月17日,在五原举行誓师典礼,宣告国民军联军正式成立。冯玉祥在典礼上发表宣言,声明国民军联军是民众的武装,遵奉孙中山先生的遗嘱,进行国民革命,实行三民主义,要为解放被压迫之中国民族,解除军阀之压迫而奋战;宣布国民军联军完全脱离北洋军阀的系统,并宣布国民军联军全体加入国民党。
五原誓师后,国民军各部纷纷来投,计约集五、六万人。其所属各部是:第一军军长为陈希圣;第二军军长为方振武;第四军军长为徐永昌;第六军军长为石友三;第八军军长为韩复榘;第二师师长为孙良诚;第五师师长为冯治安;第七师师长为马鸿逵;第十师师长为刘汝明;第十二师师长为孙连仲;骑兵第一师师长为张万庆;骑兵第二师师长为赵守钰。
冯玉祥面对当时的局面,根据李大钊等共产党人的建议和国民政府的要求,决定采取&ldo;平甘援陕,联晋图豫&rdo;的方针(当时阎锡山已被广州国民政府任命为北方国民革命军总司令)。在陕西,国民军第三军第三师杨虎城部和陕西军务督办李云龙的第十师等部,被吴佩孚的刘镇华部七万军队围困已达八个月之久,西安城战况危急。冯玉祥命令佟麟阁、孙连仲两师入甘肃,帮助在甘肃的孙良诚、张维玺部肃清了吴佩孚的势力,随后入陕。又命韩复榘等部进驻宁夏,徐永昌率部入晋,归阎锡山指挥。11月下旬,国民军联军孙良诚、方振武、马鸿逵、刘汝明、孙连仲等部合击刘镇华军,使刘军全线溃退。11月28日,西安之围得以解除。国民军联军接着分数路乘胜追击,&ldo;援陕&rdo;终成定局。