但世上的事多一波三折。张廷玉在次年春天准备告老还乡之时，他眼看到手的配享太庙的待遇又不翼而飞了。乾隆十五年三月，皇帝长子永璜去世了。作为永璜曾经的师傅，张廷玉虽然参加了丧礼，只是他归心似箭，表情也不那么哀伤。这一切皇帝都看在眼里。乾隆碍于丧礼期间，隐而不发。但张廷玉在初祭过后，竟匆匆忙忙地上疏请辞，准备南归，这让皇帝勃然大怒。他下旨称张廷玉毫无忠心，不够配享资格。又将太庙里配享诸臣的名录扔给张廷玉，让他从中一一对照，自我审查“应否配享。”
皇帝却继续戏弄他，称：“太庙配享，皆佐命元勋，张廷玉有何功绩勋猷而与之比肩乎……”意思是张廷玉其实不配享太庙，但紧接着乾隆话锋一转，称“张廷玉忍于负朕，朕不忍负张廷玉。朕之许张廷玉予告，原系优老特恩，明谕甫降，朕不食言。其大学士由皇考时简用，至今二十余年，朕亦不忍加之削夺。配享，恭奉皇考遗诏，朕终不忍罢斥。至于伯爵，则朕所特加，今彼既不知朕，而朕仍令带归田里，且将来或又贪得无厌，以致求予其子者皆所必有，朕亦何能曲从至是。着削去伯爵，以大学士原衔休致，身后仍准配享太庙。”乾隆话里话外，藐视、鄙视的意思倍显，颇有施舍给乞丐一样东西——东西是给你了，但羞辱也如影随形。可怜张廷玉作为三朝老臣，为了配享太庙一事，终究颜面丢尽。
这实在是一大羞辱。张廷玉老泪纵横，只得回奏称：“臣老耄神昏，不自度量，于太庙配享大典，妄行陈奏……念臣既无开疆汗马之力，又无经国赞襄之益，纵身后忝邀俎豆，死而有知，益当增愧。况臣年衰识瞀，衍咎日滋世宗宪皇帝在天之灵，鉴臣如此负恩，必加严谴，岂容更侍庙廷？敢恳明示廷臣，罢臣配享，并治臣罪，庶大典不致滥邀，臣亦得安愚分。”
乾隆十四年正月，张廷玉再次上奏：“受上恩不敢言去，私意原得暂归。后年，上南巡，当於江宁迎驾。”这其实是告老还乡的意思，但张廷玉将话说得很委婉，皇帝见其风烛残年，恻隐之心遂起，就批准他致仕，让他在来年春天再回老家。但张廷玉此时却犯下一个严重错误，怕回去之后配享太庙的政治待遇被取消，为身后计，竟然开口让皇帝写下一纸凭信，以为永不反悔的依据。乾隆勉强同意了。按说事情进行到此，似乎也还算顺利。虽然不再有君臣相知，但也不至于君臣相猜，一拍两散，是谓友好分手。要命的是第二天，一纸凭信在手的张廷玉没有亲自到宫门去谢恩，仅仅让他的小儿子张若澄代为谢恩。皇帝由此大不满，“降旨切责”，称张廷玉急于求归，是“恝然置君臣大义于不问”。“夫张廷玉之罪，固在于不亲至谢恩，尤在于面请配享”，君臣之间最后一层温情脉脉的面纱被扯下，张廷玉的真实面目在皇帝的声色俱厉之下被层层揭发。他辩无可辩，也不敢辩，回奏称：“臣福薄神迷，事皆错谬，致干严谴，请交部严加议处。”一个老臣的苍凉处境，跃然纸上。
皇帝因势利导，让大学士九卿开会议决此事，最后做出了罢免张廷玉配享资格的决定。配享资格得而复失的张廷玉，惆怅回乡。
一片秋风肃杀中，垂垂老矣的张廷玉不敢稍作异动，以免惹祸上身。但人算不如天算。该来的还是来了。同年九月，皇家出版社——文颖馆修成《御制诗集》，进呈御览。乾隆在翻阅时发现其中有错别字，不禁勃然大怒，下令将大学士、文颖馆总裁官张廷玉等三人“交部议处”。虽然处分不是很重，但张廷玉已感到丝丝凉意。到年底，翰林院在为去世不久的孝贤皇后写祭文时因为用语不够“尊贵”， 乾隆下令将管理翰林院的张廷玉等官员罚俸一年，以示警戒。这让张廷玉觉得必须速速离开这个是非之地，否则，很有可能像讷亲那样命丧黄泉。
屋漏偏逢连夜雨。惆怅回乡的张廷玉又遭遇到一件倒霉事。他的亲家、四川学政朱荃被人参奏隐瞒母丧消息，“匿丧赶考”，目的仅仅是为了挣点“考试补贴”，在当时看来此为大不孝之举。此案本与张廷玉无关，但余怒未消的乾隆皇帝还是将他牵连了进来，认为“张廷玉深负三朝眷注之恩……岂容其冒叨宠赍。所有历来承受恩赐御笔、书籍，及寻常赍赏物件，俱着追缴。”他下令尽缴历年颁赐给张廷玉的诸物。乾隆十五年八月，皇帝命钦差大臣德保查抄张廷玉在京住宅。抄家之后，虽然没有被抓住什么把柄，但张廷玉已然是惊弓之鸟了。他惶惶然上奏称：“臣负罪滋深，天褫其魄，行事颠倒。自与朱荃结亲以至今日，如在梦昧之中，并无知觉。今伏读上谕，如梦方醒，恐惧惊惶，愧悔欲死，复有何言？乞将臣严加治罪。”
这一年被处斩的人还包括浙江巡抚常安，他因为贪污公款被判处绞监候，秋后处决。当然腐败年年有，皇帝对常安这事还不是很上心的，最令他恼怒的是自己培养的接班人、赴川督师的经略大臣讷亲和川陕总督张广泗在金川用兵中，因为指挥无方，前后贻误，导致兵败大溃退的局面。乾隆认为此二人大丢朝廷脸面，于九月，将他俩革职，于十二月，处斩。
乾隆由此又猫戏老鼠一般，将张廷玉大大羞辱了一番，称“张廷玉忍于负朕，自所应得，而朕心仍有所不忍，着从宽免其革职治罪，以示朕始终矜宥之意。”这一年，张廷玉已经是一个八十岁的老人了。名誉扫地，一无所有，成为那个时代权力场上的最大失败者。
乾隆十三年（公元1748年）对乾隆皇帝来说是个怒气冲天的年头。这一年，乾隆东巡，皇后富察氏随行。但很不幸的是在回銮至德州时落水而亡。为表达哀思，皇帝将丧葬典礼办得极为隆重。在皇后丧葬期间，乾隆愤怒地发现，湖广总督塞愣额、知府金文醇、江南总河周学健、湖广巡抚彭树葵擅自剃头了——按满族旧习，帝后之丧，官员们在一百天内不能剃发，以示伤心过度，无法顾及自己的仪表，否则就是大不敬。皇帝盛怒之下，将此四人或处斩，或革职。
乾隆二十年，在被抄家五年后，惶惶不可终日的张廷玉去世了。游戏玩够了的皇帝下旨：张廷玉以大学士衔休致，仍令配享太庙。只是这一切哀荣，曾为之念兹在兹一辈子的张廷玉并不知晓。或许知晓了也没什么意义吧，因为仕途中人，一切都已淡然，得之失之，实在不是当事人自己可以掌控的。