奕䜣支持曾国藩等办洋务,但他又主张削弱地方势力,引起湘淮势力的不满；奕䜣办洋务,清廷中倭仁等顽固派不满；由于奕䜣权力受限,不能满足列强的要求,列强对他也开始不满.
慈禧太后利用了奕䜣,也给予了奕䜣巨大权力.但随着奕䜣地位高升和声名鹊起,恭亲王奕䜣又引起了慈禧太后的不安.于是慈禧太后利用一切机会对他进行打击,使奕䜣一直浮浮沉沉.同治四年（1865）三月初五,编修蔡寿祺弹劾奕䜣,说他揽权纳贿,徇私骄盈,太后命令查办,七日就以其目无君上,免去议政王和其他一切职务.朝中大臣求情,慈禧太后才允许他在内廷行走,并管理总理各国事务衙门,但免去了议政王职务.这是奕䜣遭受的第一次打击.
同治八年,奕䜣支持杀掉慈禧太后亲信安德海,为慈禧太后所恨.同治十二年,奕䜣劝谏同治帝不要修治圆明园,触怒了慈禧太后.光绪七年三月,慈安太后去世,奕䜣更为孤立.反复浮沉磨平了奕䜣往日的棱角,挫折了他的锐气,遇到大事他提不出应对的策略.中法战争中,奕䜣为首的军机处对于战与和拿不定主意,军队节节败退.光绪十年（1884）,三月十三日,慈禧太后借口奕䜣“委靡因循”免去他的一切职务,奕䜣集团全班人马（武英殿大学士宝鋆、吏部尚书李鸿藻、兵部尚书景廉、工部尚书翁同龢）被逐出军机处和总理各国事务衙门.二十年又起用为总理衙门大臣,并总理海军,会办军务,内廷行走,但毫无作为.
归根究底,其实就是恭亲王洋务运动,而慈禧是保守派,两人是面和心不合,此外恭亲王间接的除去了安德海,让慈禧怀恨在心.再一个就是恭亲王还有能力的,但是这能力会动摇慈禧的地位,因此必须打击他.三方面的原因使慈禧罢黜了恭亲王
