乾隆十三年（1748年），乾隆帝的皇后富察氏去世，大清官场从一派和风旭日变成了人人自危，也就在当年，汉臣中的翘楚张廷玉注定有一个劫。

自从张廷玉提出退休后，屡屡受到乾隆帝的冷嘲热讽，到了最后，乾隆竟撕破脸皮，把十几年来对张廷玉忍住没说的话都说了出来，他直截了当指出，张廷玉没有资格配享太庙：

“试思太庙配享，皆佐命元勋，张廷玉何功绩勋猷而与之比肩乎？”

在说完了这段话以后，乾隆帝还把历代配享之臣开了个名单，送给了张廷玉阅看，并让他明白回奏，自己配不配得上配享之荣？

事情的结果一目了然，廷臣也达成一致意见，认为张廷玉不应配享。于是，张廷玉被乾隆帝明令取消了配享资格，回到了安徽桐城老家。

然而，厄运却接憧而至，张廷玉在老家刚刚平静下来，朝廷中又出了一件祸事：张廷玉的亲家四川学政朱荃，在母亲去世后，为了挣点“考试费”，居然隐瞒母丧消息，“匿丧赶考”，为御史所参。

乾隆又一次想起了张廷玉，因为朱荃仕途起步，就是因为受到张廷玉的举荐，何况后来又和他做了儿女亲家。这样一个品行卑污之人居然受了张廷玉的举荐，可见张廷玉并不像自己说的那样“清白”。

在处理了朱荃后，乾隆迁怒张廷玉，发下谕旨，收回以往三代皇帝对张廷玉的一切赏赐，以示惩罚，他派出自己信任的内务府大臣德保，去执行这个任务。在出发之前，乾隆特意把他召进宫，秘密叮嘱一番。

乾隆十五年（1750年）八月，德保来到张家。张廷玉早早就在门口迎候，并把三朝皇帝所有赏赐都收拾好了，准备交给德保。可没想到的是，德保不但带了十多名随从，还带了二百名兵丁。

这些人显然是事先准备充分，进了张家，不由分说，以查找是否有遗漏为名，开箱砸锁，挖地三尺，居然抄了张廷玉的家。

原来，在德保出京之前，皇帝秘密嘱咐，到了张家，一定要借查找皇帝赏赐之名，严格检查张廷玉私人文件及藏书，看看其中有没有对乾隆的怨恨之词。

在细细审查后，德保一无所获，他对这位张阁老不禁佩服得五体投地。作为一个文臣，谁也保不住会用文字发泄心情，在书信日记中品评人物，说几句牢骚话。但是张廷玉却没有这样做，在他的数百封私人书信中，没有一字涉及政事。

德保虽然素知张廷玉以谨慎闻名，不过他没有想到他会谨慎到如此程度，这三朝元老真是成了精了。要知道，这次抄家，如果稍有把柄被抓住，张廷玉就必然要身首异处，这恐怕也是乾隆的本意。

张廷玉虽然躲过了一死，但既然被抄家，名誉已经彻底丢尽，随后上了一道请罪的折子，请求乾隆严加治罪。

乾隆毕竟是“宽仁之主”，发布上谕，宽宥了张廷玉的“罪过”，但免不了要借题发挥，对张廷玉又痛斥了一顿。经过这场问罪，张廷玉被完全击垮，他修炼了一辈子的臣术，最后还是一败涂地。

乾隆二十年（1755年），张廷玉在家中苟活了五年，最终病死。消息传到京城，乾隆帝也感到一丝悲痛，毕竟他们君臣相处了十几年，回想张廷玉一生所作所为，他感觉到对张廷玉确实苛刻了点。

毕竟，张廷玉为大清辛辛苦苦工作了近五十年。于是，乾隆帝做出眷恋老臣的姿态，宣布宽恕张廷玉的一切过失，仍命他配享太庙，抚恤如常，谥文和。太庙里面那块冷猪肉，在乾隆恶作剧般反复折磨多次后，终于又摆到了张廷玉的嘴边。

乾隆四十四年（1779年），乾隆帝写下了一系列怀旧诗，怀念自己驾下的五位大学士。其中也包括了张廷玉。在诗的注解中他说道：

“张廷玉虽有过，余仍不加重谴，仍准大学士衔休致。及其即卒，仍令配享太庙。余于廷玉曲示保全，使彼泉下有知，当如何衔感乎？”

乾隆在这个时候还作诗提到张廷玉，多少也可以反映出他的一点愧疚之意，只是碍于帝王面子，很多话不好直说。