兴平二年(公元195年)二月,凉州军将领发生火并。李傕先杀死右将军樊稠,接着又同郭汜互相攻杀。郭汜想自己把汉献帝控制起来。李傕得知消息,抢先动手,劫走献帝,烧毁宫殿。献帝让太尉杨彪、司空张喜等公卿大臣到郭汜营中为二人调解,又被郭汜扣作人质。双方在长安城内外混战了好几个月,造成上万人死亡。
六月,李傕部将杨奉叛变,带走不少兵力,李傕力量有所削弱。另一个凉州军将领张济从陕县前来为二人调解,双方同意讲和,被劫持的献帝和公卿大臣得以获释。
献帝获释后,郭汜想让他住在长安东北的高陵,以便于自己控制,公卿大臣及张济则主张前往弘农,双方争执不下。献帝自己想东归洛阳,也同意张济的建议,多次派遣使者去对李傕、郭汜提出这一要求。结果双方达成妥协,献帝先到附近县城居住。
后来又决定回洛阳,一路上献帝经过忍辱负重,终于在建安元年(公元196年)七月间回到故都洛阳。
献帝从长安动身东迁时,曹操已经击走吕布,正忙于围攻固守雍丘的张超,但胜负大局已定。因此,献帝在兴平二年(公元195年)十月正式任命曹操为兖州牧。十二月,曹操拿下雍丘,兖州全境平定。建安元年(公元196年)正月,曹军进抵武平,袁术所任命的陈国相袁嗣投降。在汝南、颍川两郡活动的黄巾军余部何义、刘辟、黄邵、何曼等人各拥兵数万,开始追随袁术,后又依附孙坚,对曹操造成一定威胁。因此,曹操又在二月对他们展开攻击,杀死黄邵,收降刘辟、何义,顺利地攻占了许县,势力又有了大的进展。
献帝来到洛阳后,曹操即接受毛玠的建议,准备将献帝迎来许县。一些人对此有疑虑,认为关东尚未平定,韩暹、杨奉刚护送献帝来到洛阳,正北连河内张杨,一时难以将其制服。荀彧则坚决支持曹操的想法,鼓励曹操说:&ldo;从前晋文公接纳了周襄王,因而诸侯纷纷前来追随;汉高祖为义帝穿上白衣服发丧,因而天下的人都来归附。现在皇帝流徙不定,东都洛阳又那样残破,忠义之士都有怀恋王室的心意,老百姓都有感旧的哀痛。如果能够利用这个机会迎奉皇帝,是符合大家的愿望的。用忠于帝室的行动来镇服各据一方的豪杰,这是一个重要的策略。如不及时作出决策,其他豪杰必然会产生非分之想,那时再来考虑这个问题,就来不及了。&rdo;
沛郡人丁冲过去曾与曹操交好,这时也给曹操来信说:&ldo;您平时常常表露出匡济天下、辅佐皇帝的志向,现在到了实现志向的时候了。&rdo;程昱也表达了类似的看法。这些意见正合曹操心意,曹操于是立即采取行动,派曹洪带兵西迎献帝。由于卫将军董承和袁术部将苌奴凭险抗拒,曹洪无法前进,计划一时未能实现。曹操为此感到十分愁苦,曾写作《善哉行》(其二)一诗抒写当时的心境:
我愿于天穷,琅琊倾侧左。虽欲竭忠诚,欣公归其楚。
快人由为叹,抱情不得叙。显行天教人,谁知莫不绪。
我愿何时遂?此叹亦难处。今我将何照于光曜?释衔不如雨。
&ldo;天穷&rdo;当做&ldo;天穹&rdo;,即苍天。&ldo;琅琊&rdo;,山名,在今山东诸城东南。&ldo;左&rdo;,地理上以东为左。这里以琅琊山在东方倾倒比喻其父在琅琊国被陶谦杀死。《春秋》襄公二十九年:&ldo;公至自楚。&rdo;&ldo;欣公归其楚&rdo;即用此典,表示喜献帝还洛之意。&ldo;抱情不得叙&rdo;,谓不得抒其情于献帝。&ldo;显行&rdo;,指建立功业。&ldo;天教人&rdo;,谓用天子的政令教化万民。&ldo;绪&rdo;,残,引申为失败。两句说自己的政治抱负未能实现。最后两句,说自己将难于在日月之下做人,内心包含的忧愁难以消除,还不如雨,因为雨总还有个停的时候。从字里行间不难看出,曹操虽然已经在事业上取得了很大成就,但还是怀着壮志难酬的深沉感慨,以致为此感到苦闷和忧惧。正是这种不满足感和危机感,驱使着曹操去为生存和发展而不断奋斗。
当时,在献帝周围的将领主要有韩暹、杨奉、董承和张杨等人。韩暹和董承驻京师宿卫,杨奉驻守梁县,张杨驻守野王。这四人虽然表面上有联合关系,但实际矛盾很大。曹操决定利用这一矛盾。四人中以杨奉兵力较强,又驻守在洛阳以南,与许县临近,曹操决定先拉拢杨奉,通过早已与自己友好、这时在朝任议郎的董昭给杨奉写信。信中说:&ldo;将军护卫皇帝,经过千难万险,终于回到了故都洛阳,辅佐之功,举世无匹。现在天下不宁,皇位至重,必须群贤协力加以维护,不是单靠一个人的力量所能支撑的。将军可在朝内做主,我作为外援。现在我有粮,将军有兵,正好有无相通,取长补短,生死与共。&rdo;
杨奉虽然兵力较强,但孤立少援。加之献帝到洛阳后,宫室早被董卓烧尽,百官只能找些柴草,靠着断壁残垣搭帐篷居住;粮食更是紧张,州郡各拥强兵,不肯接济,群臣饥乏,尚书郎以下官员都得自己出去挖野菜充饥,有的就饿死在墙垣之间,有的则被士兵杀死,情况已到十分严重的地步。因此,曹操表示愿与杨奉合作,并拿出粮食来,自然使杨奉喜出望外。杨奉即与诸将一同上表,请献帝任命曹操为建德将军,不久又升迁为镇东将军,袭父爵为费亭侯。曹操先后写了《上书让封》、《上书让费亭侯》表示推辞,献帝不允,才又上了《谢袭费亭侯表》表示接受。三份奏章言辞均谦卑恭顺,虽然这是这类表文的基本特色,在很大程度上只是一种虚伪的姿态,但就曹操而言,这一时期处事比较谦恭谨慎,这时又怀着尽力博取朝廷欢心和信任的目的,极有可能还是发自内心的。