只是历史多看点。接下来，朋党之争让索额图的仕途再陷困境。朋党之争在索额图和明珠之间展开。明珠因主张撤藩有功，康熙十六年，被授为武英殿大学士，入阁办事。明珠是皇长子胤褆的舅舅，便在幕后帮助胤褆拉拢大学士余国柱等重臣，从而成为“长子党”的核心人物。而孝诚仁皇后在康熙十三年生太子允礽，索额图由此成为太子外叔祖父，他与明珠两人同为皇亲国戚，同柄朝政，各结党羽，从而给康熙增添新的烦恼。康熙十六年（公元1677年）七月二十九，康熙在乾清门召见索额图，对他意味深长地说：“人臣服官，惟当一意奉公。如若分立门户，私植党羽，始则蠹国害政，终必祸及身家。历观前代，莫不皆然。”这是严重的口头警告了。对于这样的口头警告，索额图其实是存在侥幸心理的。毕竟他是太子外叔祖父，皇帝要动他，有投鼠忌器的心理在。
不过索额图很快就明白了自己的政治立场有问题，并且快速进行补救。康熙执意撤藩后，吴三桂、耿精忠等三藩一如索额图所料相继叛乱了，天下形势岌岌可危。索额图此时不仅没有幸灾乐祸，反而忧国忧民，积极出谋划策，帮皇帝出主意。《啸亭杂录》记载说：“索（额图）相当权时，多谋略，三逆叛时，公料理军书，调度将帅，皆中肯要。”正是因为索额图将功补过，康熙才没有在三藩之乱平定后继续追究他的问题，尽管他也逞口舌之快，说：“吴逆倡乱，有谓撤藩所致，请诛建议之人者，朕若从之，皆含冤泉壤矣”，但说归说，对索额图的信任康熙还是没有改变。比如他因病不能御门听政时，就下旨“启奏本章俱送大学士索额图等”，以示尊重。
索额图一如既往地自恃尊贵，与内阁学士兼礼部侍郎李光地结盟，与明珠死磕。明珠则“轻财好施，以招来新进，异己者以阴谋谄之，与徐乾学相结。”徐乾学时为日讲起居注官，是朋党之争中的知名人物。由此索额图和明珠的朋党之争动静越来越大，导致两年之后康熙不得不再次出手。康熙十八年（公元1679年）七月二十八，京师发生强烈地震。刑部尚书魏象枢上疏弹劾大学士索额图、明珠各立私党，揽权贪纵，陷害异己等罪状，言词激烈，声泪俱下。第二天，康熙御书“节制谨度”赐索额图。个中意味不言自明。康熙称“尔等（索额图和明珠）自被任以来，家资颇已饶裕……今见所行，愈加贪黩，习以为常”，康熙并指“吴三桂之乱，索额图时参谋议，从未发一善策”，并警告“国法俱在，决不宽贷”。
但索额图到底不明白，他一开始就输了。撤三藩其实不是朝廷的能力问题，而是做臣子的态度问题。因为撤三藩若引发战争，朝廷胜了，索额图没有半点好处；朝廷若败了，康熙也不会惩罚明珠等人，否则，就是打自己的嘴巴了。所以在这个问题上能不能与最高领袖保持一致，是索额图能否在仕途上继续走下去的关键。尽管他大声疾呼要“请诛倡盲诸臣”，康熙却还是态度坚决：“欲迁徙吴三桂者朕之意也，他人何涉?”《康熙起居注》随后记载说，索额图闻此言，“甚惧而退。”
索额图也知趣，在闭门思过了差不多一年后，于翌年(康熙十九年)八月，以病请求解任。索额图这一招其实是投石问路。觉得自己闭门思过了这么长时间，皇帝的心气也该消了，以病请求解任，目的还在于康熙能够挽留自己，以便在仕途之路上继续走下去，走得更好。但康熙的态度却很令人费解。他一方面优旨褒称索额图：“卿辅弼重臣，勤敏练达，自用兵以来，翼赞筹画，克合机宜。”另一方面命其在内大臣处上朝。仕途达人索额图明白，皇帝到底还是疏远了他。随后，由于索额图在处理自己两个弟弟的问题上，又有徇私之嫌，导致康熙二十二年，皇帝痛下决心，彻底处理索额图。这年三月，康熙指责索额图有三大罪：其一，索额图之弟心裕素行懒惰，屡次空班，皇帝交给索额图议处，索额图从轻处置，只罚俸一年。其二，索额图之弟法保懒惰，被革去内大臣职务，随旗行走，但仍不思效力赎罪，在外校射为乐，索额图未能尽教训之责。其三，索额图自恃巨富，日益骄纵。康熙并且认为“索额图巨富，通国莫及。朕以其骄纵，时加戒饬，并不悛改，在朝诸大臣，无不惧之者。”命严加议处。议处的结果是革索额图议政大臣、内大臣、太子太傅之职，不过仍任佐领。
这是历史激变的时刻。在三藩问题上，朝廷中有些人吓得惊慌失措。所谓“诸臣中有一闻变，便遣妻子回原籍者，”但究其实，这是索额图和明珠的仕途对决。明珠和索额图一样，也是康熙朝最重要的大臣之一。他在顺治时初任侍卫，康熙三年升为内务府总管大臣，“掌内务政令，供御诸职，靡所不综”，成为宫廷事务的最高长官。康熙五年（公元1666年），任内弘文院学士，参与国政。康熙七年（公元1668年），任刑部尚书。康熙九年，改任都察院左都御史。康熙十年，调为兵部尚书。应该说和索额图一样，明珠也是个火箭式干部。两人走到康熙十二年(公元1673年)的时间节点上，谁若想再进一层，只能押宝在三藩问题上。
这一年索额图四十七岁，可以说跌入了宦海生涯的最低点。由于康熙对其用语严厉，处置坚决，没有人看好他还能东山再起。但谁都没想到，这个男人会在三年后的知天命之年东山再起，任领侍卫内大臣，再次笑傲权力江湖。
索额图在三藩问题上没有与康熙保持一致态度可以说是其重大失误。康熙曾不止一次说，“朕自少时以三藩势焰曰炽，不可不撤。”“朕以三藩俱握兵柄，恐日久滋蔓，酿成不测，故决意回。”为了表明解决三藩问题的决心，年少的康熙将三藩及河务、漕运三大事书写在宫中石柱上自励。索额图作为康熙近臣，又是其多年的追随者，对皇帝心迹当了如指掌。但康熙十二年(公元1673年)，皇帝借尚可喜因年老请求归置辽东之际下决心撤藩之时，索额图却表示反对。在廷议中，兵部尚书明珠以及户部尚书米思翰、刑部尚书莫洛等都赞成康熙的态度，请求撤藩，但索额图却站出来反对说，吴三桂、耿精忠上书请撤藩，是试探皇帝旨意，并非真心实意想撤。当前情势下，撤藩势必引发激变，索额图大声疾呼：“请诛倡盲诸臣，以谢三桂。”
毫无疑问，仕途的玄妙之处在索额图身上得到了充分体现。