雍正十三年八月，弥留之际的雍正帝，没有忘记安排他的老臣，在他的遗诏中嘱咐了让鄂尔泰和张廷玉配享太庙，这让嗜名如命的张廷玉视为了光宗耀祖的殊荣，因为大清朝能享受此待遇的汉臣就他一人，连清初那位被皇太极宠幸的范文程也没有此等荣誉。
但是，遭逢也要看时运，张廷玉虽然被雍正所宠，却不为乾隆所爱。在乾隆的眼里，张廷玉就是先皇雍正的秘书，仅仅是代为书写谕旨，无非就是文墨好一点。他把张廷玉鄙视成了一件供人观赏的玩物。
乾隆即位之初，张廷玉已经是接近七十岁的老人了，看在三朝老臣的份上，乾隆准许他在紫禁城骑马，又允许不上早朝。乾隆这么做一方面是出自对老臣的关照，但另一方面，却不无排斥之意，从而在军机处形成了讷亲独自面承圣旨的局面。
张廷玉历经宦海沉浮，见惯了官场的倾轧，对于君臣之间关系出现的变化，不会没有感受。只是他一向立身严谨，信奉“万言万当，不如一默”的原则，绝不会因此而面露一丝不满，更不会去追究其中的缘由。
乾隆十三年，张廷玉上疏乞求告老还乡，按常理张廷玉此时已是八旬老臣，请求荣归故里，这本是人之常情，但是在乾隆的眼里，却认为有不肯尽忠之嫌，他认为作为臣子，应鞠躬尽瘁死而后已。他对张廷玉说：“卿受两朝厚恩，且奉皇考遗命，将来配享太庙。岂有从祀元臣，归田终老之理?”
乾隆没有批准张廷玉归隐的请求，而张廷玉却三番五次奏清，尽管乾隆反复解释不应退隐的道理，张廷玉就是听不进去，始终不肯罢休。而结果是张廷玉被强留了下来，还惹得乾隆满心的不悦。
而这一年，刚好是乾隆心情最糟糕的一年，先是皇后富察氏病逝，乾隆丧失爱妻，接着又是大臣辱命，金川传来战败消息。乾隆一反常态，大开杀戒，连连的惩治大臣，或杀、或革、或降级流遣，官场上乌云密布，雷声四起，大小官员似乎又突然回到了雍正时代，处在人人自危，岌岌不可终日的恐惧中。
张廷玉虽然没有卷入到这场风暴中去，但是也没有躲过这场风波带来的余震，他三番五次受到乾隆的点名指责。
然而乾隆皇帝咄咄逼人的申斥并没有打消张廷玉的思乡之情。乾隆也很明白他的心思，于是在乾隆十四年发布了上谕说：“张廷玉生长京邸，子孙绕膝，原不必以林泉为乐，城内郊外，皆有赐第，可随意安居，从容几杖，颐养天和。”
乾隆的这道上谕一方面是告诫张廷玉，为臣的天职在于任劳任怨，决不可倚老卖老邀功。另一方面，又在提醒张廷玉要知劝。
无奈张廷玉的乡思已经到了执迷不悟的程度，到了十一月，乾隆见他仍然归心似箭，且老态日增，精采大减，故而动了恻隐之心，觉得强扭着也不行，便允许了他归隐之请。
如果张廷玉就此和乾隆一别，便可以荣归故里，安享晚年了。谁知他又节外生枝，自取其辱，反落得蓬头垢面的下场。
原来张廷玉遂了归乡的心愿以后，又担心起身后能否配享的问题了。因为乾隆说过“岂有从祀元臣，归田终老之理?”，君恩似水，何况这位新君并不在意他这个老臣，张廷玉不能不为此感到担忧。而恰巧在这时，他又听到大学士贻直向乾隆进言，说他无功无德，不应配享。
张廷玉顿时心急如焚，强烈的虚荣心使他忘记了多年以来秉持的甘于淡泊，泰山崩于前而色不变的方正君之了。他进宫面见乾隆，请求乾隆不要改变雍正的遗命，流露出一付不讲廉耻的乞恩讨赏的奴才相，平日的清高谨慎完全不见了。
乾隆虽然对张廷玉有所不满，但心中并没有违抗雍正遗命的意思。见张廷玉对自己如此防备，提出这般要挟的请求，心中自然十分不舒服，但乾隆还是勉从所请，答应了张廷玉。
张廷玉三朝元老重臣，久经政治风云，当尽知为官之道。不知他是真的轻视皇帝，还是一时糊涂，在得到恩准配享的谕旨之后，他只是具折谢恩，并以年老天寒为由，没有亲赴殿廷面圣，而是让儿子张若澄代往谢恩。
乾隆这次真是动怒了，张廷玉敢于这样对自己不敬，积郁已久的不满向火山一样爆发，他让军机处传旨，令张廷玉明白回奏。
龙颜大怒，张廷玉已知此番非同小可，第二天一大早，他便赶到宫廷跪叩请罪，不料这亡羊补牢之举，非但没有任何用处，反而授人以柄。乾隆知道张廷玉的请罪并非出自真情，本来盛怒之下大有颠覆张廷玉之势，但乾隆的高明之处，就在恰到好处。
乾隆见张廷玉已经威风扫地，而所犯之罪又不足以严惩，因此当满朝大臣提出张廷玉应该革去大学士之职，取消配享的建议时。乾隆反倒下令让张廷玉仍以大学士衔致仕，身后任准配享太庙，只是削去了伯爵。
但张廷玉注定是命运多舛的，乾隆十五年，皇长子永璜去世，张廷玉是是永璜的老师，按理应该等到丧期结束后才回乡，但是张廷玉在丧服未除的时候便匆匆告归，被乾隆指责漠然无情，不顾师生之谊。
乾隆还很不客气的对张廷玉说，刘伯温是辅佐朱元璋成就大明的功臣，他当时配享太庙都引来朝野争议，你问问自己，和刘伯温相比较你有什么资格配享太庙。
可伶张廷玉三朝侍君，五十年如一日，修炼了一辈子的谨慎，竟因一时疏忽，触犯了龙颜，结果是备受羞辱，衣冠扫地，乾隆十五年张廷玉以大学士致仕，灰溜溜的返回了桐城老家。
张廷玉在老家也不安生，他的儿女亲家朱荃获罪，牵连到他。因为张廷玉的包庇，朱荃在朝廷内广植党羽，无所顾忌。后被乾隆治罪，张廷玉也因此被罚款一万五千两，并追缴了历年皇帝赐给他的礼物、查抄在京的住宅。
经过这场问罪，张廷玉以垂老之躯几遭严谴，尽失往日的威势，门生故吏各寻出路，树倒猢狲散，就连吴士功这样的死党也投奔了他人。在经过鄂尔泰和张廷玉的打击后，乾隆以皇权的独尊落下了帷幕。
乾隆二十年三月，张廷玉病逝，乾隆做出了眷念老臣的姿态，宽恕了他的过失，令仍配享太庙，并称“皇考之命朕何忍违，且张廷玉在皇考时，勤慎赞襄，小心书谕，原属旧臣，宜加优恤”，赐祭葬，谥“文和”。
直到死后，张廷玉才挽回了一点面子!