1926年夏,广州国民革命军北伐,吴佩孚首先遭到沉重打击,孙传芳决定和奉系重新修好,共同对付北伐军。11月,孙传芳派杨文恺先后去见张宗昌和张作霖,取得了谅解。随后,张作霖、张宗昌、孙传芳齐集天津,由张宗昌、孙传芳联合提议,推张作霖为安国军总司令。12月1日,张作霖宣誓就职,任命张宗昌、孙传芳为副司令。同时,决定派张宗昌率直鲁联军南下支援孙传芳。
1927年初,张宗昌调集十余万军队南下援助孙传芳,进驻南京、上海等地。在上海,直鲁联军大举屠杀工人、学生,镇压上海工人武装起义。但是,随着北伐军向华东的进逼,北洋军将领陈仪、周凤岐、陈调元、王善等先后归附北伐军。北伐军占领了浙江及安徽的安庆、芜湖等地,直取南京、上海。孙传芳见大势已去,遂将宁沪防务移交张宗昌的直鲁联军,自己率部逃往江北扬州。张宗昌的王翰鸣第十一军在寿州遭到惨败,张宗昌亲征合肥,围了三个月也未攻下。3月下旬,北伐军先后占领南京、上海,后又渡江北进,直鲁联军节节败退,5月,北伐军攻下了蚌埠、徐州,张宗昌率残部退回济南。
对张宗昌的败退,张作霖十分恼怒,要追查责任。就在这时,张宗昌得到一个情报,说第八军军长兼海军司令毕庶澄和北伐军总司令蒋介石暗中有联系,于是,决定杀毕庶澄。由于毕庶澄手握军权,张宗昌不便明杀,更不愿自己下手,便指使时任直隶军务督办的部将褚玉璞,于4月4日在济南将毕庶澄诱捕杀害。张宗昌既借刀杀了人,又搪塞了南下战败的罪责,把失利原因推到毕庶澄通敌之上。
直系吴佩孚、孙传芳两支军阀势力在北伐军的打击之下,已被消灭瓦解,剩下奉系军阀还想负隅顽抗。1927年6月18日,张作霖在北京中南海怀仁堂就任安国军大元帅,并宣布成立安国军政府,张宗昌被任为安国军副总司令兼第二军团军团长。张作霖趁宁、汉分裂之机,派张宗昌率军开赴陇海线一带对付冯玉祥军队,双方在徐州交战,张宗昌部损失惨重。张作霖急电严斥张宗昌&ldo;久战无功&rdo;,张宗昌恼羞成怒,于10月上旬,与冯军再激战于河南兰考一带。张宗昌师长潘鸿钧用计诱降了冯军之旅长姜明玉率部倒戈,逮捕了冯军第八方面军副总指挥、军长郑金声,押解济南。张宗昌获胜,大喜,下令枪杀郑金声,众幕僚劝阻,但张宗昌执意要杀。而这一杀,也象孙传斩杀施从滨一样,使自己在数年之后招来了杀身之祸。
1928年春,国民党四大军事集团联合北伐,奉军节节溃败,张宗昌在山东的日子已很不好过,山东地方势力多派联合,逼张宗昌脱离张作霖,自成山东省保安总司令部。不久,又听说南京政府委任陈调元为山东省主席。张宗昌受到内外逼迫,只得于4月底率直鲁联军离开山东撤入直隶之德州、天津至冀东滦州。
6月初,张作霖知道京、津已不可保,决定退出关外。但6月4日,他乘火车离开北京后,于皇姑屯被日军炸死。张作霖死后,张宗昌悲痛万分,手下尚有五万人马不知何去何从。他向张学良恳求出关,张学良深怕他出关后取而代之,不令不允许出关,反而派于学忠等部将其控制。北伐军占领京、津后,9月,白崇禧率部到达冀东,包围了张宗昌部。张宗昌感到大势已去,化装从一条小巷走出,找到一条小鱼船,从滦州口逃往大连,再乘船东渡日本,残部五万人被白崇禧全部收编。
张宗昌虽然流亡日本,但仍不甘心失败,寻机卷土重回。1929年,他在日本帝国主义支持下,纠合鲁东余部在烟台登陆,结果遭到失败,仍逃回日本。1931年九&iddot;一八事变后,日寇侵占东北,张学良率东北军退入关内,出任北平绥靖公署主任。1932年春,张学良担心张宗昌充当汗奸,电邀他立即返回中国,暂居北京铁狮子胡同。
张宗昌回国后,则想返回山东招集旧部,东山再起。然而,当时的山东省主席是国民党冀豫鲁&ldo;剿匪&rdo;总指挥、第三路军总指挥韩复榘,哪里能让张宗昌卷土重回?8月,张学良召集华北驻军诸将领到北平参加军事会议。在会议期间,经石友三的介绍,张宗昌认识了韩复榘。其后,又经石友三的撮合,张宗昌、韩复榘、于学忠、张学良结成盟兄弟。张宗昌比韩复榘年长几岁,遂以大哥自居,曾在席间向老弟说了这么一段话:&ldo;俺的许多老部下现在都散驻在山东各处,俺只要去招呼一下,立即可以汇合成一支队伍!&rdo;听了这话,韩复榘表面不动声色,只陪笑敷衍,然而,内心已动了杀机,他知道张宗昌会对自己在山东的统治构成威胁。
两天后,韩复榘由济南返回北平。又过了几天,张宗昌便收到韩复榘派出人送来的许多礼物和一封亲笔信,邀请张宗昌速到济南,&ldo;共谋大事&rdo;。张宗昌看信后,觉得机会来临,决定南下山东。然而,张宗昌的旧部金寿昌、徐晓楼、他的母亲祝巫婆、下野军阀吴佩孚、孙传芳,还有张学良等,全都反对张宗昌回山东,认为韩复榘不怀好意。但张宗昌东山再起之心急切,并不理会众人的劝阻,于8月底携带原参谋长金寿昌到达济南。
张宗昌到济南后,受到韩复榘的盛情款待,石友三也被邀来作陪。但是,几天下来,也没听韩复榘提到&ldo;共谋大事&rdo;,张宗昌感到很失望。再说,张学良得知张宗昌南下山东,十分着急。9月2日,张学良借张宗昌姨太太之名给张宗昌发一电报,假称祝巫婆病危,让他马上返回北平。3日上午,张宗昌接到电报,万分焦急,即向韩复榘说明及辞行。韩复榘也显得很焦急和同情,当即派人为张宗昌订了下午5点37分的火车票。