其实，张廷玉的低调还体现在不做大事，专做小事上。虽然雍正朝的每一项重要决策他都参与过，但张却不揽功。虽然有人因此误解他，称“如张文和(张廷玉)之察弊，亦中人之才所易及。乃画喏坐啸，目击狐鼠之横行，而噤不一语。”但皇帝却很喜欢这样的性格。张廷玉有一次生病数日，病后回去上班，雍正皇帝很高兴地告诉身边近侍说：“朕股肱不快，数日始愈”。一些大臣以为是皇帝龙体欠安，争相前来问安。雍正却对他们说：“张廷玉有疾，岂非朕股肱耶？”由此可见张在皇帝心目中的地位。
张廷玉的仕途作风酷似其父，甚至在某一方面来说，青出于蓝而胜于蓝。他信奉“万言万当，不如一默”的人生格言，凡事注重细节，少说多做。每次蒙皇上召对，从不泄露所谈内容，也不留片稿于家中。帝国正县级以上官员的履历他无不知晓，甚至县衙门里胥吏的名字他也随口道来。张廷玉业务纯熟，慎始敬终，和父亲一样“有古大臣风”。雍正十一年(公元1733年)，他的长子张若霭高中一甲三名探花，张廷玉闻知后不是心花怒放，反而“惊惧失措”，立刻求见雍正，“免冠叩首”，认为自己儿子还年轻，登上一甲三名，是祸不是福，恳请将其改为二甲一名。其言辞恳切，让皇帝颇为动容。
雍正视张廷玉如股肱，要事密事就专门交待他去办理。雍正事后对他人说：“彼时在朝臣中只此一人。”为了防止张廷玉因为经济原因不小心犯错误，雍正专门对他实施高薪养廉。经常赏其万两白银，甚至将一个本银三万五千两的颇具规模的当铺赏给张廷玉去经营，为其捞外快之用。对于皇帝的格外恩赐，张廷玉诚惶诚恐，不敢接受。雍正就反问他："汝非大臣中第一宣力者乎！"逼他接受。
最为难得的是，张廷玉是有清一代汉大臣中配享太庙第一人，也是唯一的一位。那么，什么叫配享太庙呢？雍正皇帝遗诏——张廷玉死后其神位可以安放在太庙的前殿西庑，接受此后历代皇帝每年一次的祭祀。这在大清王朝的历史上，可谓空前绝后之举。在这一点上，张廷玉可以说超过了他的父亲张英。其实，张英也是深谙仕途个中三昧的。张英为官低调，谨慎自谦。座右铭是“读不尽架上古书，却要时时努力；做不尽世间好事，必须刻刻存心。”《清史稿》称“（张）英性和易，不务表襮，有所荐举，终不使其人知。所居无赫赫名”。在民间广为流传的张英“六尺巷”故事，反映了张英的这个性格特点。据说有一次张英老家人与邻人争地，双方僵持不下。老家亲人寄信给他，希望凭借权势压倒对方。张英回信称：“千里捎书为一墙，让他三尺又何妨？长城万里今犹在，不见当年秦始皇！”张家人得信后，主动后退三尺，邻居吴氏也大受感动，同时后退三尺，最后留下“六尺巷”的美谈。康熙皇帝因此对张英很看好，称：“张英始终敬慎，有古大臣风。”张英因病退休后，康熙还对他念兹在兹。康熙四十四年（公元1705年）和四十六年（公元1707年），康熙两次南巡，都召张英迎驾，赐御书榜额，一路君臣相知至江宁。张英死后，谥文端，雍正时赠太傅。可谓极尽哀荣。
应该说作为仕途中人，在处理君臣关系上，张廷玉做得算是如鱼得水了。康熙、雍正和乾隆，这三朝皇帝都对他十分赏识。康熙令他入直南书房，提拔他做副部级的礼部侍郎。雍正更是对张廷玉赏识有加，提拔他做大学士、首席军机大臣，兼管吏、户两部。张廷玉有次回家省亲，雍正写信给他：“朕即位11年来，朝廷之上近亲大臣中，只和你一天也没有分离过。我和你义固君臣，情同密友。如今相隔月余，未免每每思念。”(见《张廷玉年谱》)足以见得这份情感已经远超君臣关系了。至于乾隆，特封他为三等伯爵，开了有清一代文臣封伯的先例。乾隆甚至在一首诗中把张廷玉比做周宣王时的贤臣仲山甫和宋朝名臣文彦博与吕端，将其奉为汉臣之首，对他可谓推崇备至。
此后，张廷玉的仕途果然一帆风顺。在康熙时代，他先后担任检讨、直南书房、洗马、侍讲学士、内阁学士、刑部侍郎、吏部侍郎等职。雍正元年时，张廷玉升礼部尚书，次年转户部尚书、翰林院掌院学士、国史馆总裁、太子太保，并复直南书房。雍正三年，他署大学士事。雍正四年，晋文渊阁大学士、户部尚书、翰林院掌院学士，并兼充《康熙实录》总裁官。雍正六年，张廷玉转保和殿大学士兼吏部尚书。雍正七年，加少保衔。