然而海瑞是一个闲不住的人，想做事的人，喜欢琢磨问题的人，对国家对君主认真负责的人，也是个只知进不知退的人。即便居于一个闲散的职位，他也不想在无所事事中打发时光。既然没有小事可做，那他就只好去考虑大事。他现在已经进入中央政府（尽管职位低得可怜，离所谓中枢还十分遥远），不再是一个有局限的地方官，很可以站在历史和全局的高度思考一些问题了。何况他的工作任务又不繁重，不像在做县令时那样，每天要处理许多烦琐而具体的事务。这就使他有充裕的时间去胡思乱想。而且，与那些自命不凡、以天下为己任的儒生一样，海瑞认为他应该对时局和朝政发表自己高屋建瓴的见解，而国家的现状又十分地令他不能满意。不但离孔夫子他们设计的唐尧虞舜般太平盛世相距甚远，而且简直就是危机四伏。海瑞觉得自己不能沉默。沉默就是不负责任，就是对历史对国家对君王对祖宗犯罪。一股正义感和使命感从他心中升起。他决定发起进攻。
户部主事，是一个不大不小、不上不下的职位。正如黄仁宇先生所言：“大政方针出自堂官尚书侍郎，技术上的细节则为吏员所操纵。像海瑞这样的主事，根本不必每日到部办公，不过是日渐一日增积做官的资历而已。”
这一回，他把斗争的矛头直接指向了当今皇上。
按说，像海瑞这样不会巴结上司，还要老去惹是生非的人，能保住七品县令的职位，已经是万幸了。他原本只能在几个边远贫穷的小县调来调去，最多升个六品闲差然后退休。然而海瑞的运气出奇的好。严嵩的倒台终于引起一系列连锁反应，人们开始对严嵩当权时的人和事一一进行清理和甄别。中国官场历来就是以人划线的。严嵩一倒，他所扶植任用的胡宗宪、鄢懋卿之流也得跟着完蛋。这些人既然被确定为坏人，那么，当年反对过他们的人也就一律是好人。这也是中国政治斗争中最通用的逻辑，历来如此。海瑞以卑微之职公然对抗令人谈虎色变的权臣，就不但是大大的好人，而且是大大的英雄了。这样的英雄如果不能加以表彰，委以重任，那就不但是帝国的奇耻大辱，而且是吏部的严重失职。于是，在担任兴国知县一年半后，海瑞被调往北京，任户部云南司主事，官阶正六品。
嘉靖四十五年（公元1566年）二月，也就是海瑞进京一年半以后，这位“位卑未敢忘忧国”的六品司员，向嘉靖皇帝呈上了《直言天下第一事疏》。海瑞深知当朝的这位皇帝是只听得进好话听不进批评的，因此开宗明义就说一个皇帝是否够格，关键就在于能不能让臣民知无不言，言无不尽。接下来，他便对嘉靖本人进行诛心剖骨的批评。他指出，如果拿汉文帝刘恒和当今圣上相比，则圣上的“天资英断”，要远远超过汉文帝。然而当今圣上的仁德政绩，比起汉文帝来，却差得很远。汉文帝创造了历史上有名的“文景之治”，而当今皇帝创造的，却是“吏贪官横，民不聊生，水旱无时，盗贼滋炽”的局面。究其所以，就因为他这个皇帝昏聩多疑（心惑）、刚愎残忍（苛断）、自私虚荣（情偏），既是昏君，又是暴君。他还指出，嘉靖不但从政治的角度看不是好皇帝，从伦理的角度看也不是好男人。如果拿君臣、父子、夫妇这“三纲”来衡量一下，就会发现原本应该成为全体臣民道德楷模的皇上，居然一纲都谈不上：任意怀疑、谩骂、屠杀臣僚，是不君；对亲生儿子毫无教诲养育，连面都不见，是不父；与皇后分居，躲在西苑炼丹，是不夫。难怪普天下的臣民百姓，早就认为他不对了（天下之人不直陛下久矣）！也难怪老百姓要以他的年号来表示对他的不满，说什么“嘉靖嘉靖”就是“家家皆净”（一无所有）了！其实，臣民们的要求并不高，无非希望官府的盘剥轻一点，当局的关怀多一点，冤假错案少一点，社会风气正一点。这都是很容易做到的事，“而陛下何不为之”？既然做起来并不困难，那就应该“幡然悔悟，洗数十年之积误”。事实上，由乱致治，也不过“一振作间而已”，那就请陛下振作起来吧！
不过这回知府大人又搞错了。海瑞如此直言抗命顶撞上峰，连钦差大臣都被弄得下不了台，岂有不遭报复之理？果然，就在海瑞接到升任嘉兴通判调令，正准备和新任淳安知县办移交时，袁淳在京弹劾了他。袁淳也是严嵩一党，和鄢懋卿更是狐朋狗友。他作为巡盐御史出巡浙江时，在海瑞那里亲身领教了简慢的招待，还和海瑞大吵了一架，于是便弹劾海瑞“倨傲弗恭，不安分守”。尽管海瑞并无过错，也尽管严嵩已被免职，鄢懋卿也被充了军，但朝中大臣们此刻热衷的是权力与利益的再分配，没有人关心这个举人出身、既无后台而脾气又有些古怪的七品芝麻官。只是由于曾当过海瑞上司的朱衡已任吏部侍郎，极力向吏部尚书严讽推荐，海瑞才在免职后又被调任兴国知县。
这样的奏疏真是史无前例。正如黄仁宇先生所指出，往常谏臣的批评都是对事，只有海瑞的批评是对人，更不要说还有那咄咄逼人的口气了！因此此疏一出，立即引起轩然大波，海瑞的刚直也名震天下，“上自九重，下及薄海，内外无不知有所谓海主事者”。
海瑞这一手不但吓退了鄢懋卿，也吓坏了严州知府。他对海瑞大发雷霆，问他为什么这样惹是生非。海瑞既不顶撞，也不辩白，等知府把脾气发够了，才作揖告退。后来，知府大人见海瑞此举并没有惹来什么祸事，又感激地对海瑞说：淳安百姓逃此一难，真难为你了！真难为你了！
嘉靖皇帝倒是看完了奏疏的全文。这样的奏疏他从未见过（也不会有人见过），便是出于好奇也会把它看完。但看完之后的震怒也可想而知。据说他当场把奏折摔在地下，气急败坏地狂喊：马上把这家伙抓起来，不要让他跑了！然而海瑞这一回做的事，实在太了不起了，连太监宫女都被他感动，心中很是有些敬佩。于是宦官黄锦跪下来不慌不忙地奏道：万岁爷不必动怒。听说此人向来就有痴名，上疏前就买好了棺材，诀别了家人，安排了后事。这个人是不会逃跑的。嘉靖听罢，长叹一声，又从地上捡起奏本一读再读。
严嵩的另一党羽鄢懋卿也在海瑞这里碰了一个软钉子。鄢懋卿奉命钦差巡视浙江盐务，事先曾明发通令，声称本院“素性简朴，不喜承迎”，因此“凡饮食供帐俱宜简朴为尚，毋得过为华奢，靡费里甲”。这种官样文章，原本是此类人物标榜俭朴以沽名钓誉的把戏，十足地既要做婊子，又要立牌坊。所以沿途官员都不当真，接待也极尽奢靡，所费自然都是民脂民膏。海瑞却一本正经地上了一个禀帖，规规矩矩写上“严州府淳安县知县海谨禀”。禀帖先是照录鄢懋卿的通令原文，接着又说：据悉钦差大人所到之处，接待逢迎与通令所言完全两样。不但要摆酒席，还要供应女人，每席耗银三四百两，连小便器都要用银子打造。因此下官糊涂起来了，不知是按通令的要求做呢，还是照前面的样子做？按通令的要求做吧，生怕简慢了大人；照前面的样子来做吧，又怕违背了大人体恤百姓的好意。因此恳请大人明示，到底怎样做才好。鄢懋卿看了禀帖，一肚子火气发作不得，只好不过严州，绕道而去。
据说嘉靖私心也认为海瑞所说是实。他曾多次向首辅徐阶透露过这个意思。他把海瑞比作殷末的忠臣比干，却又不肯承认自己是纣王。他承认海瑞说的也有道理，却又认为自己年老病重，不可能再改了。因此他只有责打宫女来出气。这样拖了一段时间后，嘉靖还是下令逮捕了海瑞，交锦衣卫审讯，问成死罪。然而嘉靖又一直不批准海瑞的死刑，只是将他交东厂监禁。十个月后，嘉靖终于死去，成为一个已经知道自己过错却又“死不改悔”的皇帝。消息传来，狱中以酒肴招待海瑞，祝贺他出狱有望，海瑞却放声号哭，继以呕吐，最后晕倒在地。
海瑞不但谨遵圣贤教诲且身体力行，而且还要和不良风气作斗争，而无论对方职位有多高，来头有多大。哪怕是公认的老虎，海瑞也敢摸他的屁股。海瑞担任淳安县令时，出任总督的是胡宗宪。总督与知县，官阶之别，如同天壤。胡宗宪这个人，又是当朝权相严嵩的党羽，权倾天下，炙手可热，加上他官风凌厉，气势逼人，境内官民无不凛然畏惧。然而海瑞却如初生牛犊。胡宗宪的儿子到淳安，耀武扬威，颐指气使，对驿站的款待百般挑剔，还把驿丞倒吊起来。海瑞毫不客气，立即下令将其拘捕，押往总督衙门，其随身所携一千两银子也没收充公。海瑞还给胡宗宪呈上一份公文，声称久闻总督大人节望清高，爱民如子而教子甚严。此人既然品行恶劣胡作非为，其所称胡公子云云必系假冒，其随身所携也必系赃银。胡宗宪心知是自己的儿子不争气，却也不敢声张，只好打落了牙齿往肚里咽，自认倒霉。
新君隆庆皇帝登极以后，海瑞被释出狱。现在他已成了更大的英雄，其声望之高，整个帝国无人不晓。他很快就官复原职，又一升再升，其职衔已于前述。事实上不升也是不行的。没有哪个吏部的官员胆敢反对这位举国瞩目的英雄人物步步高升，也没有谁会对他的品行道德提出质疑。这样，在相当短的时间内，海瑞一步步地升了上去，直至升到应天巡抚，然后因遭弹劾而被迫辞职。
海瑞确实是不讲什么官场规矩的。他并不是一个胡来的人。相反，他的原则性很强。他的原则有两条，一条是“四书五经”阐述的道德准则，一条是洪武皇帝制定的政策法令。这两个东西里面，可都没说过一个官员应该贪污腐化，以权谋私，也都没说过要当官就得学会阿谀奉承、吹牛拍马、迎来送往、请客吃饭。圣人和明太祖没说过可以做的，就不能做。圣人和明太祖明确规定不可以做的，就更不能做。至于时下的风气，决非海瑞之可效法，也决非海瑞之应趋附。有人曾劝他不要太死心眼儿，该走动的还要走动，该打点的还要打点。海瑞却瞪着眼睛反问：假设所有的地方官都不打点走动，是不是就没人升官呢？假设所有的地方官都打点走动，是不是就没人降职呢？那人见海瑞榆木脑袋死不开窍，所言“假设”云云又根本不能成立，完全是书生气十足，也就只好悻悻而去。
海瑞的第三次罢官完全是他自找的。
这样的清官，老百姓当然由衷拥护，官员们却反感异常。他们虽然嘴上不便多言，心里却是说不出的嫌厌和腻味。一想到要和海瑞共事打交道，就更是头皮发麻。可资证明的一个事实是：海瑞调升应天巡抚的任命刚一发表，应天十府官员便几乎快要哭出来。不少人纷纷请求改调他处，有的甚至自动离职，宁肯不要头上的乌纱。这固然说明海瑞的清廉和声威已足以让人闻风丧胆，但也说明他在当时的官场上，其实已很孤立。
依照内阁和吏部的想法，对海瑞的最好的安排，是让他担任一种品级较高而实权较小的职务，把他当作一个活化石供在庙堂之上。这样对大家和他自己都比较合适。因为他那种精神固然可嘉，做法却不可效法，也不宜提倡。如果大家都像他那样，动不动就直言犯上，提出让人无法接受的尖锐批评，则朝廷体统何在，官府体面何存？一个开明的君主和时代应该允许人们说话，但这种开明只能是一种装饰，一种点缀，不能太动真格，而海瑞上书这种事也只可一二，不可再三。再说，像海瑞这样连皇帝都敢骂的人，放到哪个要害部门都是麻烦。万一闹出什么乱子来，不但大家脸上不好看，对海瑞自己也没有什么好处。因此，内阁和吏部的安排，亦无妨看作是对海瑞的保护。
海瑞的清廉，甚至达到了不近人情或匪夷所思的地步。按照当时官场的风气，新官到任，旧友高升，总会有人来送些礼品礼金，以示祝贺。这些礼品礼金只要数额不大，不过意思意思，也是人之常情。然而海瑞一点意思也没有。他公开贴出告示说，“今日做了朝廷官，便与家居之私不同”。“彼酬此答，殊是虚繁，却之不为已甚。”然后当真把别人送的礼品一一退还，连老朋友贺邦泰、舒大猷远道送来的礼也不例外。至于公家的便宜，更是一分也不占。海瑞临终前，兵部送来的柴金多算了七钱银子，他也要算清了退回去。七钱银子实在不算什么，他海瑞却决不肯为这蝇头小利，毁了自己一世清白。
然而海瑞却不领情，他的责任心和使命感都不允许自己尸位素餐，无所作为。他不理解朝廷为什么对他表示了足够的尊敬却又不给予信任，也不能满意于在一个又一个体面而又无聊的闲职上耗费光阴。于是，他决定表示抗议。或者说，将内阁一军。他的机会很好，这一年（公元1569年）正好是所谓“京察之年”。京察是一种对京官的考绩制度，这种考绩每六年举行一次，届时四品以上官员都要做出自我鉴定。海瑞便趁机给皇帝上了一份奏折，宣称像他这样不能为国家做出重大贡献的官员，其实应予革退，颇有些“当官不为民做主，不如回家卖红薯”的味道。
海瑞担任了应天巡抚后，其地位与知县已不可同日而语，辖区包括应天、苏州、常州、镇江、松江、徽州、天平、宁国、安庆、池州十府及广德州，多为江南富庶的鱼米之乡。但他仍节俭清廉如常。他下车伊始，就颁布《督抚宪约》，规定巡抚出巡各地，府、州、县官一律不准出城迎接，也不准设宴招待。考虑到朝廷大员或许仍须稍存体面，他准许工作餐可以有鸡、鱼、猪肉各一样，但不得供应鹅和黄酒，而且也不准超过伙食标准。这个标准是物价高的地方纹银三钱，物价低的地方两钱，连蜡烛、柴火等开支也在上述数目之内。至于叫“小姐”来席间作陪，或酒足饭饱后的各项余兴节目，当然不言而喻地均在严禁之列。
内阁和吏部拿这个咬不动、煮不烂、杀不死、吓不怕又死不开窍的怪人毫无办法。他们甚至弄不清这个边远外省来的书呆子是真天真呢，还是假天真。说他不天真吧，他居然以为只要对他委以重任，凭着他那一身正气和勇往直前的精神，就能肃清天下流弊，整顿官场颓风。说他天真吧，他似乎又知道以退为进、讨价还价的办法。但不管怎么说，海瑞这时声望正隆，没有人当真胆敢罢黜。既然不能罢黜，那就只能给他一个实缺，任命他为应天巡抚，驻地苏州。何况，外放也有外放的好处：不在皇上和内阁的眼皮底下，眼不见心不烦，耳朵也要清净一些。
更难能可贵的是，海瑞始终如一地坚持着他的清廉。他当知县的时候，饭桌上的蔬菜都是他亲自带人在衙后种的。酒肉之类，大约也很少食用。据说他唯一的一次“奢侈”，是为了给母亲做寿（海瑞是孝子），买了两斤肉。这事当时就作为新闻在官场上广为传播，就连总督胡宗宪都忍不住用大惊小怪的口吻对别人说：你知道不知道，海瑞买肉了，买了两斤肉，两斤哪！
海瑞决心大干一场。他要扬善惩恶，移风易俗，做出一个榜样来。这种先声夺人的气势让许多贪官污吏土豪劣绅闻风丧胆。缙绅之家纷纷把朱漆大门改成黑色，以示素朴，弄得苏州城里好像家家都在操办丧事。气焰嚣张的江南织造太监也夹起了尾巴，把自己的轿夫由八人减至四人。但海瑞仍觉得很不过瘾，他下令：境内的公文，今后一律使用廉价的纸张。公文后面不许留有空白，以免浪费。他甚至干预官民的私生活，就连佩戴奢华的首饰和嗜吃甜美的零食，也在禁止之列，被禁的项目从忠靖凌云巾、宛红撒金纸，一直到斗糖斗缠和大定胜饼桌席。这些规定显然未免失之琐碎苛细，但海瑞不这么看。他坚持认为，根据“千里之堤，溃于蚁穴”的原理和“勿以善小而不为，勿以恶小而为之”的准则，在道德风尚方面，所有行为都并无大小之别。再小的善也应褒奖，再小的恶也应遏制。定大局须从做小事入手，因此这些小事也是大事。道德的重建如不能落实到具体的事情上，那就将是空洞的口号。
关于海瑞死后所遗资产的数目，有三种说法。最多的一种说是一共有一百五十一两银子，绫、绸、葛各一匹。最少的一种则谓“检点行囊中俸金八两，葛布一端，旧衣数件而已”。居中的一种，则说有白银二十两。即便按一百五十一两计算，数目也十分可怜。常言道：“三年清知府，十万雪花银”，而知府不过正四品。一百多两银子，对于任何一位二品大员的家产而言，都够不到一个零头，更不要说和严嵩那样的奸相相比了。嘉靖四十一年（公元1562年），严嵩倒台，抄家时单单白银一项就抄出两百万两之多。由此可见，海瑞的清廉，不但名副其实，而且难能可贵。
事实上，海瑞整顿吏治的计划正是通过一个个可操作的具体规定来实施的。比方说，为了整肃江南士大夫出入官府互通关节的风气，他规定：凡乡绅、举人、监生等到衙门拜见官员，或投递书信，必须进行登记。登记的内容包括谈话的要点和书信的节录，官员出行则要记载行踪和言论。凡不让登记、所记不实或事后篡改者，官员和登记者都要受到处罚。对于过往的官员，海瑞也不客气，规定他们均应自雇人夫和船只，地方上只负责补贴费用。而且，如果二等的官坐了一等的船，只给他二等船钱；可坐一条船却坐了两条船的，也只给他一条船钱。海瑞认为，这样既可以使那些逢迎拍马的人无从下手，也可使那些借出巡之际搜刮民脂民膏的人一无所获，还可以一正官场的风气，因此应予坚决地执行。
如果按照中国普通老百姓衡量一个官员好坏最通用的标准来评估海瑞，他当然是一个好官。这个标准就是清廉。海瑞的清廉是举世闻名的，也是绝对真实的。他晚年职任右都御史（监察部长），官居二品，留下的积蓄竟不够殓葬之资，还得靠同僚们来捐助费用。一个人，做官做到连死都死不起，也算得上“一清见底”了。
海瑞雷厉风行地推行他的廉政措施，义无反顾，斗志昂扬，全中国的官场却是一片哗然。人们因海瑞的举措大惊失色，义愤填膺。几乎所有官员都一致公认从来未见过如此怪僻、乖张、不近情理的封疆大吏，居然视自己的僚属和过往的官员为寇仇。京师和外地的官员到了海瑞的辖区，如同进入敌国；下属的官员一举一动都要登记在册，简直形同囚犯。这样古怪的巡抚，当然无法见容于官场，弹劾的奏章也就不断地送达御前。给事中舒化的奏章还算客气，说海瑞早年以风节称著，不失鲠直之臣，但政令乖谬，“恐非人情”。戴凤翔的攻击就要猛烈得多，甚至指控他犯有谋杀罪，因为他的一妻一妾曾在一个晚上同时神秘地死去。尽管海瑞答辩说其妾是八月十四日自缢，其妻则是八月二十五日病亡，并非死于同一天。但日期如此之近，已足以让人疑窦顿生。何况大家都相信，海瑞的家庭出现悲剧是很自然的，因为他是如此地乖谬怪僻和不近人情。甚至对于海瑞会有这样的性格大家也不奇怪，因为他原本就是帝国最南端化外之地一个没见过世面的乡巴佬，而且还可能是一个少数民族，一个外国人。
这就使海瑞的仕宦生涯带有了传奇色彩。于是我们有点弄不清他究竟是好官还是坏官。如果是好官，为什么屡屡被罢？如果是坏官，为什么又一升再升？皇帝也好，官场也好，究竟是喜欢他呢，还是不喜欢他？
内阁和吏部的处置办法，仍是将海瑞调任闲曹，然而海瑞脾气之大似乎超过了官场的公愤。他给隆庆皇帝写了一封信，告诫皇上说：“今举朝之士皆妇人也，皇上勿听之可也。”至于他自己，当然更不屑与这些不像男人的家伙为伍。一气之下，他跑回海南老家，一去就是十五六年。
不过海瑞罢官也升官，而且罢一次升一次，官也越做越大。他第一次罢官是在嘉靖四十一年（公元1562年），被免去淳安知县（正七品）职务，但很快就平调江西赣州府兴国县，一年半以后调升户部云南司主事，由地方官变成了京官，官阶也由正七品升到了正六品。第二次罢官是在嘉靖四十五年（公元1566年），这次长达数月之久，还坐了牢。出狱后先是官复原职，后改任兵部武库司主事，又调尚宝司司丞（均正六品）、大理寺寺丞（正五品）、通政司右通政（正四品），最后升调右佥都御史（正三品）、钦差总督粮道巡抚应天十府，已是封疆大吏，方面之员。第三次罢官是在隆庆四年（公元1570年）。这一回直到十六年后才重新出山，先是恢复了他的南京右佥都御史职务，赴任途中升为南京吏部右侍郎，次年（万历十四年即公元1586年）升任南京都察院右都御史，官阶二品，成为大明王朝的高级干部。这时，海瑞已是七十三岁的老人，而他的学历或功名又只是一个举人。
明制，中央监察机关为都察院。都察院官员共四级：都御史、都副御史、佥都御史、监察御史。左、右都御史为其最高长官。
海瑞这个人，的确与罢官有缘。海瑞一生，经历了正德、嘉靖、隆庆、万历四朝。从嘉靖三十二年（公元1553年）十二月十日在福建延平府南平县当教谕（一种低级学官），到万历十五年（公元1587年）十月十四日病死在南京都察院右都御史任上，他与官场差不多算是打了半辈子交道，其间罢官和请求辞职就有好几回。仅在南京任上的两年之中，请求告老还乡就达七次之多；而赋闲时间最长的一次，竟达十六年之久。这样折扣下来，则海瑞踏入仕途三十三年，就有一半的光阴属于罢官。如果按照严格的计算方式，以他被提升为地方行政长官，担任浙江淳安知县（时在嘉靖三十七年即公元1558年）作为正式从政的起点，则当官的时间还要更短，半数以上处于罢官状态。
黄仁宇：《万历十五年》，中华书局1982年版，第138页。
现在四十五岁以上的中国人，大约很少有人不知道“海瑞罢官”的。1966年，以对新编历史剧《海瑞罢官》的批判为导火线，引发了一场“史无前例”的“文化大革命”。当然，不管历史上有没有海瑞这个人，以及他是否被罢过官，这场所谓的“文化大革命”也要进行。只不过，这样一来，便弄得海瑞这个名字家喻户晓，而且一提起海瑞，便想起罢官。
明代开国不久，朱元璋就取消了宰相职位和宰相制度，首辅则相当于宰相。
海瑞是一个清官。不过他这个清官，却是以“罢官”而闻名的。
嘉靖在其《世宗遗诏》中对自己的过错几乎都认了账。
屡被罢官的官
后来给事中舒化弹劾海瑞时也是这么说的。他也主张给海瑞安排一个闲曹，“以全地方，亦所以全瑞”（既保全地方，也保全海瑞）。