康熙四十年(公元1701年)九月，圣眷不再的索额图借口年老乞休，并很快得到批准。但此公的悲剧在于退而不休，继续成为太子党的核心人物。在他身边，阿迷达、麻尔图、额库里、温待、邵甘、佟宝等一批老且怀怨之人为其呐喊助威。康熙在当时对这个情况应该说是掌握的。因为在索额图事败后，他就公开称，“温待、额库礼，俱犯重罪流徙之人，因其年老，令回京师。伊等应安静以养余年。伊乃与索额图结党，妄论国事，妄自犯尤”从这一点可以看出，在皇帝眼中，索额图就是太子党的核心人物。更要命的是太子允礽的变化让他忧心忡忡。他不仅殴打平郡王纳尔苏、贝勒海善、公普奇等高官，后来竟然发展到在康熙面前也敢辱骂大臣，俨然以皇帝自居了。康熙穷根究底，对索额图愈加不满了。
康熙三十五年（公元1696年），发生在亲征噶尔丹战场上的一件事让皇帝对索额图多了一些厌恶。当时随军的索额图听信噶尔丹散布的谣言，以为会有六万俄罗斯军队前来增援噶尔丹，为了自身安全，他紧急建议康熙所在的中路军脱身而回，任由大将费扬古、孙思克所率的西路军孤军作战。结果康熙回銮后，传说中的六万俄罗斯军队并没有前来增援噶尔丹，只留下西路军血战迎敌——皇帝的退兵之举因此成了一个笑话、一场耻辱。提及此事，康熙激愤得泪流满面，称：“朕一意前进，以剿灭噶尔丹为念。不知索额图等视朕为何如人也！今朕失约即返，则西路之兵不可问矣！”因此，索额图在他心目中的重要性骤减。
康熙四十一年(公元1702年)的德州事件成为索额图仕途乃至人生的最后拐点。这一年十月，皇太子允礽在随驾康熙南巡时病倒。至德州，病重不能行。康熙意味深长地从京师召来索额图，令他在德州陪侍允礽。这实际上是一种暗中观察，看看索额图和太子间究竟有没有密谋。一般来说，作为仕途中人，是很忌讳和敏感人士单独接触的。索额图此时应该避嫌，尽量减少与太子接触，韬光养晦以自保。但遗憾的是，他并没有这样做。相反地，索额图行事高调，乘马至太子住所中门方下（论法此行为当是死罪），但允礽却不以为意。甚至在德州，太子所用之物都是黄色，规格也差不多与皇帝同——索额图不明白，皇帝此时正派人密查他——诚如康熙后来所的说“朕皆访知”，他的被抓，至此只是时间问题。
在索额图接下来的仕途中，他不是一个人在行走。与他始终纠结而行的那个人不是别人，正是明珠。康熙二十七年，明珠大学士的职务被革去，他的追随者余国柱、科尔坤、佛伦等也被革职。但两年之后，在征战噶尔丹的战斗中，明珠又被启用，参赞军务；康熙三十五年、三十六年，在康熙本人两次亲征噶尔丹，明珠随军督运粮饷，并且因功官复原职。这其实是康熙的机心之所在。对明珠打而不死，以此牵制索额图的锐器。因为索额图复出之后，特别是看到明珠在康熙二十七年被革去大学士的职务后，以为从此权柄独掌，行事做派愈加张扬。如在制定太子仪制的时候，索额图授意太子的衣物一律使用黄色，并将其规格大大抬高——百官需对其朝贺，行二跪六叩礼。索额图甚至规定出巡时，地方官在朝见皇帝后，还要朝见皇太子，并向皇太子进献礼物等。虽然康熙皇帝大为不悦地说：“太子所用的仪仗等物，太为过制，与朕所用相同”。但索额图对此话充耳不闻。他的追随者也唯其马首是瞻。礼部尚书沙穆哈为了讨好允礽，认为皇太子的拜褥应像皇帝一样，要放置在殿门内，康熙坚持要放在殿门外。争执未果，沙穆哈建议康熙把这条谕旨记入档案，留给后人一观。其险恶用心，可以说不言自明；另外，内务府所属的一些不知天高地厚的低级官员私自到跑到皇太子处窃窃私语，也让康熙皇帝心生警觉——这背后一定有一个推手存在。正是为了保持对索额图的高压姿态，康熙才重新启用明珠。只是索额图对这一层机心并不明了，一味在危险的道路上狂奔不已。
康熙四十二年五月，索额图被康熙派出的侍卫海青所抓，在五月十八日颁发的上谕中，康熙措辞严厉地称：“观索额图，并无退悔之意，背后怨尤，议论国事，伊之党内，朕皆访知……伊等结党议论国事，威吓众人。且索额图施威恐吓，举国之人，尽惧索额图乎……伊等之党，俱属利口，愚昧无知之徒，被伊等恐吓，遂极畏惧。果至可杀之时，索额图能杀人或被人杀俱未可料，虽口称杀人，被杀者谁乎？至于索额图之党，汉官亦多，朕若尽指出，俱至族灭。” 康熙这样的上谕，可以说句句置人于死地。索额图这一回也的确在劫难逃了。他先是被交宗人府拘禁，随后在七月初被处死，两个儿子格尔芬、阿尔吉善也相继被处死。索额图同党多被杀、拘禁或流放，其同祖子孙皆被革职。一个始荣终败的故事至此落下帏幕。