管仲去世不久，齐桓公便开始忽略他临终时的嘱托，内心却时常无法忘怀被撤职的易牙、开方、竖刁三人。这三个人平日里围绕齐桓公，屈意奉承、投其所好，几乎成了齐桓公的左右手和心腹。当他们被罢黜后，齐桓公的心情郁闷，甚至吃饭时都觉得味同嚼蜡，仿佛失去了什么重要的东西。宫里那些擅长察言观色的人注意到了齐桓公的变化，于是纷纷上前劝慰：自从易牙他们被撤职后，您的神情和气色都变差了许多，宫中的侍从虽然不少，但却没有人能像他们那样了解您的心思，您为什么不把他们召回呢？齐桓公听后，深觉有理，于是立即发出召令，命易牙、开方、竖刁三人重新回到身边。

然而，这一决策并不被朝中的一些大臣所支持。有人劝齐桓公：您忘了管父的临终遗言了吗？为何要让他们复职？齐桓公轻描淡写地回应道：这三个人虽然有些小问题，但对我有益、对国家无害，管父的意见未免过于苛刻了。管仲生前确实以身作则、刚正不阿，而这三人当时在他面前还保持一定的忌惮，但随着管仲、鲍叔牙等正直大臣的相继去世，这些人开始趁机操控朝政，逐渐在齐桓公身边取得了更大的话语权。他们深知齐桓公年事已高，精力渐衰，便一步步控制了朝廷内外的政局。

齐桓公的后宫拥有众多妻妾，其中最得宠的六位妻子每人都有一个儿子。为了争夺君位，彼此之间早已暗中拉帮结派、明争暗斗。管仲生前早已察觉到这股权力斗争的潜流，曾建议齐桓公立下贤明的昭为太子。然而，管仲去世后，齐桓公在竖刁等人的影响下，答应另立无诡为太子，但始终没有正式宣布。这让其他几个儿子看在眼里，纷纷开始利用自己的力量积极争取，在这种复杂局面下，齐桓公的态度变得越来越模糊不清。

公元前643年，齐桓公病重，宫中的争斗愈加激烈。易牙、竖刁等人趁机作乱，他们假传了齐桓公的命令，宣称需安静，禁止任何人探视，并派遣武装人员封锁了宫门。紧接着，他们将齐桓公身边的侍卫全都赶走，甚至在齐桓公的寝宫周围筑起了高墙，将内外隔绝。齐桓公因病卧床，不能起身，他一边虚弱地呼唤侍卫，一边满是焦虑，可是却没有人回应。突然，他听见一声扑通的响声，像是有人从高处摔了下来。过了一会儿，一名宫女模样的人从窗户爬进来，走到床前，齐桓公定睛一看，才发现是名叫晏娥儿的宫女。

齐桓公见到她时，如同遇到了救星般的兴奋。他急忙对晏娥儿说：我好饿，能不能给我弄点粥？晏娥儿愁眉苦脸地答道：我找不到粥。齐桓公又说：那你去帮我倒点热水来解渴吧。晏娥儿无奈道：也没有热水。齐桓公不解，问她原因。晏娥儿解释说：易牙、竖刁等人已经控制了宫内外，禁止一切出入，我哪里能去找水和粥呢？齐桓公再次问道：你是怎么进来的？晏娥儿低头回答：因为您平日对我很好，我不顾生命危险偷偷爬墙来看您。齐桓公听后沉默了片刻，叹息一声，眼泪不自觉地夺眶而出，他哽咽道：唉！管父真是睿智，我若听从他的遗言，又怎会落得今日这个地步？若死者有知，地下的他岂能容忍我如此狼狈？说罢，他用衣袖遮住脸，悔恨不已，长叹数声后便死去。

齐桓公的两个其他儿子看到太子昭的势力渐强，认为既然他们都是齐桓公的亲骨肉，理应分享王位的权利，主张将齐国分割。于是，他们各自聚集家兵门客，占据了宫中的左殿和朝门。如此一来，朝廷中形成了四股势力的激烈对立，士族中胆小的便纷纷隐退。曾经热闹非凡的宫廷也瞬间陷入了死寂，没有人再去为齐桓公处理后事。结果，齐桓公的尸体便在床上摆放了67天，虽然当时是冬季，但由于时间过长，尸体已经腐烂，臭气扑鼻。最终，几个元老大臣出面调停，暂时平息了冲突。由于太子昭已经逃走，而无诡为长子，便由他继位。

太子昭随后逃往宋国，宋襄公遵照齐桓公生前的嘱托，发出通知召集当年会盟的诸侯，希望共同出兵。然而，回响只有卫、曹、邾三个小国响应。公元前642年，宋襄公率领四国军队将太子昭护送回齐国。太子昭既然回归，自然要继位为王，群臣纷纷铲除无诡，迎接太子昭即位。然而，太子昭刚到达城郊时，却久久未见百官来迎，他心生疑虑，赶紧派人打听。原来，宫内形势已经发生了变化，三位公子和无诡的残余势力联合起来，占据了城门，准备发起进攻。太子昭见情况危急，再次向宋国投奔。

当宋襄公得知这一消息后，懊悔自己早早退兵，立即调转车队，急速赶往齐国。五月，宋国军队成功击溃了四个公子的势力，太子昭终于回到齐国继位。齐桓公的葬礼直到八月才最终完成。齐桓公的尸体从去世到入土，整整耽搁了近一年之久，齐国的政局也因此陷入了长期的不稳定，霸业迅速衰退。