绍兴二十五年（1155年）十月二十二日，南宋的权臣秦桧去世，这一天，赵构心中总算松了口气。长期以来，他都得小心应对秦桧，因为这个人不仅掌控了政权，还一直威胁着赵构的地位。赵构总是得小心翼翼地保持君臣和谐，既怕金国利用秦桧来废除自己，也需要秦桧作为与金国沟通的桥梁。 秦桧死后，赵构从此不再需要在后宫里藏匿匕首。不过，秦桧的去世意味着南宋的主和派一大代表也随之陨落。随着秦桧的死，许多反对与金国和谈的主战派开始站出来，要求弹劾秦桧。

赵构其实并不喜欢秦桧，但他深知，与金国保持和谈对国家是有利的。为了避免影响自己与金国的关系，他曾下诏禁止臣子讨论秦桧的事。但越是如此，反对声音反而越大，局势变得更加复杂。 绍兴二十九年（1159年）十二月九日，金国的主战派代表完颜亮发动弑君行动，自己称帝。完颜亮是金国太师完颜宗干的儿子，虽然他通过弑君获得了权力，但并不是所有人都支持他。为了消除异己，完颜亮开始大规模屠杀反对者，甚至连自己的宗室也不放过。他在即位后首先迁都，随后决定通过征战南宋来巩固自己的皇位。

然而，宋金之间的和平协议并没有轻易破裂。为了挑起冲突，完颜亮派使者到临安，公开侮辱赵构，激怒南宋朝廷，迫使赵构采取行动。然而，赵构并没有按预期回应，尽管金使者的辱骂让他愤怒，但他依然忍耐，没有作出军事反应，最终只是在后殿流泪发泄。这一忍耐的姿态，令完颜亮也显得无可奈何。 完颜亮愤怒之下，决定不再忍耐，直接率兵南下，准备一举消灭南宋。绍兴三十一年（1161年）十月，完颜亮带领六十万大军分四路进攻南宋，目标是彻底征服南宋。

面对突如其来的战争，赵构并不是在担心南宋的江山，而是对自己的人身安全感到恐慌。多年依附金国，他为求生存，甚至亲手杀害了像岳飞这样的主战派人物，只要能保住性命，他愿意割地称臣。但金国的突然翻脸让他感到背叛，自己辛辛苦苦保持的和平政策瞬间破灭，成了笑柄。 得知金军逼近，赵构并未首先考虑如何抗敌，而是想逃命。他让亲信杨存中准备大船，准备带他逃往海上。然而，杨存中拒绝带赵构逃跑，反而提出愿意护卫赵构上前线。赵构心中一震，意识到这不是保护，而是兵变的信号。如果他拒绝，可能会被迫禅让。为了保命，他最终决定亲自上前线督军。

好在完颜亮内部纷争不断，加之虞允文的英勇，南宋军队在采石矶一战中取得了决定性胜利，完颜亮最终被杀，金军退兵。 然而，赵构开始意识到，宋金未来可能会爆发一场大规模战争，而他已无法再继续靠与金国的妥协生存。与此同时，主战派的势力正在抬头，若他再不下决心，未来的日子将变得更加困难。赵构决定趁着完颜亮被杀的大胜，提出禅位，保全自己的名声，并让赵昚继位。

赵构没有儿子，而赵昚是太祖一系的后代，继位后可能会平稳过渡。经过深思熟虑，他决定在自己尚有名声和体力时退位，享受太上皇的生活。虽然过去的太上皇往往过得不太好，但赵昚的孝顺和自己为其奠定的基础使得赵构对未来充满信心。 绍兴三十二年（1162年）六月十一日，赵构正式禅位，赵昚登基成为宋孝宗，赵构成为太上皇，开始了他的退休生活。

赵构并没有选择住在宫中，而是重建了一座宫殿作为自己的养老之地。这座新宫选在了秦桧的旧府邸上。秦桧的府邸位于宫廷北部，风水极佳，赵构在此重建了自己的养老宫，命名为德寿宫。他还亲自为这座宫殿题写了德寿宫匾额。 德寿宫的建设十分讲究，周围的环境安静，靠近太庙和西湖。赵构特别喜欢西湖的景色，但为避免打扰到他人，他在德寿宫内开挖了一个大池，命名为大龙池，并修建了假山、飞来峰、聚远楼等建筑，构成了一片人间仙境。

宫殿内精美的建筑设计和富丽堂皇的装饰彰显了赵构的奢华。尤其是香远堂，这里有用玉石雕刻的万岁桥，池中种满千叶白莲，四面亭的屋顶用新罗白罗木精工打造，十分华丽。 赵构非常喜欢艺术，尤其是书画。他收藏了大量名家的作品，并在闲暇时临摹和把玩。每年中秋节，南宋皇室都会在德寿宫赏月，举行盛大的宴会和音乐表演，气氛十分热烈。

宋孝宗对赵构极为孝顺，每月都会送上十万贯的生活费，确保赵构的日常开销不成问题。虽然赵构曾因担心自己被批评奢华而请求减少，但宋孝宗依旧按照规定向德寿宫拨款，确保其生活无忧。 除了日常生活费用外，宋孝宗还会定期送上贵重的礼品，如银两、绢匹等。而赵构则以这些作为自己的零花钱，甚至指示大臣安排房屋出租，赚取更多收入。德寿宫的名号也因此广泛传播，成为了富人们争相借用的象征，甚至有一些富人通过挂上德寿宫的旗帜来逃避税收。 然而，赵构的奢华生活也引起了言官的非议。尽管如此，赵构并未受到太多约束，反而享受着他的退休生活。 随着时间的流逝，赵构渐渐步入老年，享受着充实的生活和孝顺的儿子。直到淳熙十四年（1187年）八月，赵构已是八十多岁的高龄，依然精神矍铄。然而，在同年的九月，他突然出现中风的症状，被送入寝宫休息。由于医生的治疗意见不一，赵构的病情逐渐加重，最终在十月八日去世。 赵构的一生，虽然充满了政治风云，但在晚年却享受了少数太上皇所能得到的荣华富贵和舒适生活。与其他历史上的太上皇不同，他的晚年无忧，享有极高的生活质量，也留下了深刻的历史印记。