所以接下来， 他“据理力争”了。张廷玉在皇帝面前直言：“宋明配享诸臣亦有乞休得请者。且七十悬车，古今通义。”意思是宋明两朝也有享受配享荣誉的大臣，最后是可以告老还乡的；而且七十岁退休，那是天经地义的。这话其实很不符合皇帝对张廷玉的要求，他苦心经营多年的形象就此一落千丈。乾隆看张廷玉的眼神都变冷了，开始对他循循善诱，称假如七十岁退休是天经地义的话，那为什么“尚有八十杖朝之典？武侯鞠躬尽瘁，又何为耶？”这是拿诸葛亮的例子要求张廷玉生命不息，工作不止。
这一年，对张廷玉来说，还发生了一件很不幸的事情。他的长子、内阁学士张若霭生病去世了，白发人送黑发人，张廷玉开始变得步履蹒跚。皇帝似乎动了恻隐之心，以张廷玉入内廷须他人扶掖为由，命他的次子、庶吉士张若澄入直南书房。两年之后的乾隆十三年，七十六岁的张廷玉以老病为由，第一次向皇帝提出告老还乡。乾隆却是不同意。他对张廷玉说：“卿受两朝厚恩，且奉皇考遗命配享太庙，岂有从祀元臣归田终老？”（见《清史稿》，下同）这是要张廷玉鞠躬尽瘁死而后已的意思，应该说“配享太庙”的崇高政治荣誉将张廷玉给绑架在祭坛上，再无告老还乡的可能。乾隆的话说得这样重，理由这样明晰，张廷玉作为明白人，正确的做法应该是唯唯诺诺，不再“据理力争”——事实上他也没什么理在手中。但是张廷玉揣摩，皇帝有新陈代谢的需要。既然培植了新人讷亲上位，对他这个仕途老人，大概不再依赖了吧。
皇帝放下架子跟张玩君臣辩论赛，又有成例在手，一般情况下，张廷玉除了弃子认输，收回退休之念外，不可能再有上佳选择。但回乡心切的他并没有就此打住，反而以老迈之躯将辩论赛进行到底。他继续振振有词地说：“亮受任军旅，臣幸得优游太平，未可同日而语。”意思是诸葛亮是诸葛亮，我是我。他有不能退的理由，我有到点退休的理由。特别是最后一句“未可同日而语”，很驳皇帝脸面，意思是你引诸葛亮的例子来说服我并不恰当。
刘统勋是山东诸城人，雍正二年(公元1724年)中进士，选为庶吉士，步入仕途。由编修入直南书房，后任上书房师傅，官至詹事府詹事。乾隆继位后，升其为内阁学士、刑部左侍郎、左都御史，此次他参奏大学士张廷玉，颇得皇帝内心首肯。乾隆随即发布“上谕”：“若张廷玉在皇考时，仅以缮写谕旨为职，此娴于文墨者所优为。自朕御极十五年来，伊则不过旅进旅退，毫无建白，毫无赞勷。朕之姑容，不过因其历任有年，如鼎彝古器，陈设座右而已”。（《高宗实录》卷363）“上谕”如此这般的用语与定性，无疑是对张廷玉政治生涯的全盘否定。
毫无疑问，接下来的辩论愈发有火药味了。因为乾隆声色俱厉地质问他：“朕为卿思之，不独受皇祖、皇考优渥之恩，不可言去；即以朕十馀年眷待，亦不当言去。朕且不忍令卿去，卿顾能辞朕去耶……为人臣者，设预存此心，必将漠视一切，泛泛如秦、越，年至则奉身以退，谁复出力为国家治事？”乾隆还以皋夔、稷契、龙逢、比干四人不同的遭遇来说明，一个官员不管处境如何，忠诚之心是相同的，这是暗指张廷玉对朝廷并无忠诚之心。话说到这个份上，张廷玉也无法再辩，只是“呜咽不能自胜”。告老还乡之念，只得暂时搁置。
这个时候，都察院左都御史刘统勋上奏，称安徽桐城张氏家族在朝为官者有十九人之多，张氏的姻亲桐城姚氏也有子弟十人在朝为官。张廷玉作为康雍乾三朝老臣，特别是雍正皇帝遗诏身后配享太庙的顾命大臣，“遭逢极盛，然而晚节当慎”。因此，刘统勋建议皇帝在三年之内将张氏亲属子弟“概停升转”，以“保全”三朝老臣的清誉。
皇帝却是盛怒未消。为了处罚张廷玉的不忠之举，他接下来做了两件事：一是“命举所谕宣告朝列”，将君臣间的这一番争论公布于朝野，让大家都来看看张廷玉的真面目；二是趁势解除了张廷玉“组织部部长”的职位，但并不允许他退休，还得经常入内廷点卯上班。如此处境之下，张廷玉的日子越发难过了。毕竟快八十岁的人了，精力大不如从前，不管事却还要上班，内心的空虚感真是难以言说。其实早在乾隆三年，张廷玉就曾对皇帝说：“今犬马之齿六十有七，自觉精神思虑迥不如前，事多遗忘，食眠渐少。”现在差不多十年时间过去了，张廷玉的身体更是每况愈下，体力不支，但事情又要做，出差错的情况也就在所难免了。
一切都在走向花好月圆。张廷玉的仕途人生似乎功德圆满，起码不逊于其父张英，看起来可得一个善终。但是乾隆十一年，一丝异动悄然呈现。这一年张廷玉七十四岁，皇帝以他年逾古稀为由，口气婉转地告诉他不必每日早朝，特别是遇到天热或刮风下雨的情况，可以不必入内，在家办公就可以了。一般情况下，这应视作是皇帝对老臣的厚爱，但张廷玉发现，事情不是那么简单。因为他的内阁首辅位置被保和殿大学士兼吏部尚书、军机大臣讷亲取代了。讷亲是满洲镶黄旗人，钮祜禄·额亦都之曾孙。钮祜禄·额亦都可是赫赫有名的人物。他是后金开国五大臣之首（其余四人分别为何和礼、费英东、安费扬古和扈尔汉）、康熙朝重臣遏必隆的父亲，清太祖努尔哈赤和额亦都是好友。睿亲王多尔衮曾是其部下。讷亲拥有如此显赫的身世，仕途前景一片看好。雍正时他袭公爵，授散秩大臣。乾隆即位，授他镶白旗满洲都统、领侍卫内大臣、协办总理事务、进封一等公爵。此番任他为内阁首辅，明摆着是加以重用的信号。因为紧接着，讷亲又成为首席军机大臣。一个年轻干部如此火箭式的提拔速度，张廷玉仕途浮沉几十年，当然是心知肚明。他马上上疏，请求辞去他兼管的吏部事务的职务。也就是说，组织部部长的位置他也让出来好了，真可谓急流勇退。但耐人寻味的是，皇帝并没有批准张廷玉的请辞报告。