大观三年（公元1109年），中丞石公弼、侍御史张克公等人掀起新一轮弹劾蔡京的高潮。同年六月，蔡京被罢尚书左仆射的职务，改任中太一宫使，但仍然住在京城。随后侍御史洪彦章、太学生陈朝老等人继续弹劾蔡京，要求将其流放外地，徽宗置若罔闻。大观四年（公元1110年）五月，京城久旱无雨，彗星再次出现。中丞石公弼、侍御史张克公、毛注等数十次上奏弹劾蔡京不忠不轨等几十条罪状。宋徽宗无奈，只得下令将蔡京贬逐出京，至杭州居住。但两年后的政和二年（公元1112年），蔡京就咸鱼翻身了，他被召复辅政，重新为相。
但是崇宁五年（公元1106年），一颗彗星在帝国上空的出现让他丢了相位，蔡京被罢为开府仪同三司、中太一宫使。不过很快，蔡京就复相了。第二年也就是大观元年（公元1107年）正月，蔡京重任尚书左仆射及中书侍郎的职务，被罢相的时间还不到一年。对于“政坛不倒翁”蔡京来说，一颗在帝国上空出现的彗星只不过是流星罢了，不可能对他造成实质性的伤害。
蔡京几度浮沉却安然无恙的终极秘诀就是掌握了逢迎术。而这正是左右逢源之精义所在。崇宁三年（公元1104年），蔡京向宋徽宗提倡丰、享、豫、大之说，随后鼓动他铸九鼎，建明堂，修方泽，立道观，作《大晟乐》，制定命宝，直让徽宗引其为知己，蔡京又让长子蔡攸参与宫中秘戏，混杂于倡优侏儒之中取悦徽宗。父子二人齐上阵，使徽宗欲罢不能，这也是蔡京屡屡咸鱼翻身的秘密所在。
蔡京上位的三方面因素一言以蔽之就是左右逢源，处处讨徽宗的好，以致于徽宗在分别罢去韩忠彦和曾布后，紧拉蔡京的手说：“神宗创立法制，先帝继之，两遭变更，国是未定。朕欲绍述父兄之志，卿何以教朕？”一副国是唯君托之的样子。而蔡京是怎么回应的？他马上逢迎，表示“愿尽死”。这是蔡京首为国相的良好开端。
宣和二年（公元1120年），年过七旬的蔡京被令致仕（退休）。人们都以为他就此退出政坛了，但四年后，七十九岁的他奇迹般地复出。这是他第四次入相，虽然已经老眼昏花，无法写字，却由他幼子蔡绦代理公务。离靖康元年（公元1126年）帝国巨变只有短短的两年时间了。
北宋神宗以降，在“铁打的相位流水的相”的背景下，王安石、司马光等人都曾抱憾而去，更别说过客般的韩忠彦和曾布了。蔡京何德何能，可以四度为相呢？说到底，靠的还是左右逢源之道。
还是说说蔡京的最后归宿吧。靖康元年（公元1126年）正月，金兵攻打开封，蔡京追随宋徽宗南逃，而国事则由钦宗代理。太学生陈东率领数百名太学生伏阙上书论“六贼”之罪，指出蔡京为“六贼”之首；二月侍御史孙觌上奏论蔡京、蔡攸、童贯之罪，钦宗宣布罢免蔡京父子、童贯官职；随后蔡京连贬崇信、庆远军节度副使，衡州安置；七月，蔡京再被移至儋州（今海南省儋县）安置，行至潭州（今湖南省长沙市）病死，死前写有绝命词一首，现在读来很有感慨人生的意味：
他的传奇至此才真正开始。
八十一年往事，三千里外无家，孤身骨肉各天涯，遥望神州泪下。
当然对蔡京来说，也面临同样的问题——拿下曾布，自己取而代之。道德评判可以先放一边。这样的时代，左右逢源者胜。毕竟曾布也是在徽宗上位的过程中靠左右逢源之道博得向太后的青睐，才从知枢密院的位置上转正为宰相。蔡京此番后发制人，很快，他抓住了曾布的一个把柄——欲任用儿女亲家陈佑甫为户部侍郎，涉嫌以权谋私。就这样，曾布被罢相，先是出知润州（今江苏省镇江市），随后在大观元年（公元1107年）死在谪贬之地。而蔡京轻而易举地取代他的相位，并拉开了四度为相的辉煌生涯。
金殿五（注：应为四）曾拜相，玉堂十度宣麻，追思往日漫繁华，到此翻成梦话。
崇宁元年（公元1102年）六月，蔡京终于回京，但是回京只是万里长征走完了第一步，以后的路更长，任务更艰巨。虽然徽宗在邓洵武的忽悠下已经把年号改为“崇宁”，取追崇熙宁新法的意思，而且在此前一个月罢免了韩忠彦左相一职，同时拜蔡京为尚书左丞。尚书左丞是副宰相，位在曾布之下。如此，新的矛盾产生。虽然在蔡京回京问题上曾布曾经有所进言，但真实目的则是用其为打击韩忠彦的武器，现在韩忠彦已倒，蔡京和他一起组阁，同盟转眼就成了对手。并且蔡京在运作自己回京的过程中动员了方方面面的力量，犹如一颗快速升起的政坛巨星，势头不是说止就能止的，所以接下来，新的博弈已是不可避免。
蔡京死后，他的子孙二十三人被分别流放至外地州军，遇赦不能返回，而其长子蔡攸、次子蔡绦都被诛杀。四度为相的“政坛不倒翁”就此倒下，传奇终结，而曾经庞大无比的北宋帝国，在短短数十年间，竟也成为蔡京仕途登龙术的牺牲品，转眼之间只拥有半壁江山，辉煌不再。