那么胡惟庸又采取了什么对策呢？他暗中交结吉安侯陆仲亨、平凉侯费聚，常在家中喝酒聊天，抱怨说：“我等所为多不法，一旦事觉，如何？”此时的胡惟庸虽然隐隐感到朱元璋对自己越来越不信任，甚至也做好了被罢相的心理准备，但实事求是地说，谋逆造反的想法，他还是没有的。虽然胡惟庸一度让他的心腹御史陈宁在中书省“阅天下军马籍”，但离成事还差十万八千里。这其实是一个欲望宰相本能的躁动或者说盲动，却到底于事无补，反而更加招致朱元璋的疑心，令他进一步采取行动以结束目前危险的对峙状态。
而接下来发生的两件事令胡惟庸深切地感受到，皇帝已经对他另眼相看了。一件事情是他的家人因为殴打关吏，被人上奏后，朱元璋勃然大怒，下旨诛杀他的家人，同时“切责丞相”，对胡惟庸严词问责。另一件事是朱元璋几次批评中书省办事违慢，工作作风官僚，并且“诘问所由” 。（见谈迁：《国榷》卷七）这实际上也是对胡惟庸领导的中书省工作实绩的不满。由此朱元璋对胡惟庸的看法从疑到怨，不满的程度步步升级。
洪武十二年是很微妙的一年。这一年九月，朱元璋因为占城（印度支那古国）派人来大明进贡，胡惟庸却不向他报告此事而勃然大怒。在朱元璋看来，这是相权对君权的进一步掠夺。胡惟庸虽然事后向他顿首谢罪，朱元璋却余怒未消。这也直接导致了胡惟庸的儿子在这一年毙命。《明史》记载，胡惟庸的儿子“驰马于市，坠死车下，惟庸杀挽车者，帝怒，命偿其死，惟庸请以金帛给其家，不许”。皇帝朱元璋是如此的震怒，以致于不给丞相一点面子，在一起交通肇事事故中一定要胡惟庸的儿子而不仅仅是他的司机（挽车者）以命抵命，这充分说明他对胡惟庸的忍耐已到了极限。同年十二月，中丞涂节实名举报刘基当年是被胡惟庸毒死的。朱元璋闻报后先是拿汪广洋开刀，认为汪广洋应该知道此事却隐匿不报，是为不忠。朱元璋将其贬到海南；后又以他当年在中书省不揭发杨宪罪行为由，将其赐死。正所谓敲山震虎、杀鸡儆猴，胡惟庸大祸临头了。
从洪武九年到洪武十一年，朱元璋做了两件事。一是“改行中书省为承宣布政使司……悉罢行省平章政事左右丞等官，设布政使一员”，另外，他下令设按察使司、都指挥使司，各司只对六部和皇帝负责，由此割断中书省与诸司的联系，限制其权力的行施。中书省被架空了，丞相的权力被大大削弱。而在洪武十一年（公元1378年）三月初十，朱元璋诏令六部所属诸司奏事勿关白中书省，有事直接奏报皇帝。史料记载“上于是始疑胡惟庸”。
其实，涂节举报胡惟庸当年毒死刘基，朱元璋采信此说之后，胡惟庸就哀叹：“主上草菅勋旧臣，何有我！死等耳，宁先发，毋为人束手寂寂。”但哀叹归哀叹，权力已经被剥夺得差不多的胡惟庸并没有能力策反兵部。而继涂节之后，举报还在继续，洪武十三年正月初二，已然贬为中书省吏的御史中丞商暠“亦以惟庸阴事告”——向皇帝举报了胡惟庸谋逆之事。这当然是查无实据之事，但朱元璋此时需要的只是一个可以致胡惟庸以死地的罪名。正月初六，朱元璋下令诛杀胡惟庸。从举报到诛杀，这中间只相隔四天时间！调查审讯其实都是走过场，君臣间的怨望到了如此程度，胡惟庸之死当是汪广洋之死的延续而已。他当然不是开始，更不是结束。因为围绕胡惟庸案，朱元璋先后让三万人成为他的殉葬品。甚至在十年之后的洪武二十三年，李善长也因胡惟庸案赐死。这期间又有陆仲亨、唐胜宗、费聚和赵庸等高官受到株连，朱元璋还为此专门下旨编写《昭示奸党录》布告天下，以为警戒。
更要命的是胡惟庸行事无所顾忌。刘基死后，他“独相数岁，生杀黜陟，或不奏径行，内外诸司上封事，必先取阅，害己者，辄匿不以闻。四方躁进之徒及功臣武夫失职者，争走其门，馈遗金帛、名马、玩好，不可胜数”。这里头的问题有两个。一个是他不将君权放在眼里，凡事先斩后奏，甚至百官上呈的奏疏，也要自己先看了之后再定取舍；另一个则是经济问题。受贿“不可胜数”，说到底还是相权过大没有被约束的缘故。由此，胡惟庸由此前同僚间人际关系处理问题转化为君臣间的权力失衡问题，朱元璋对他的疑心更大了。胡惟庸案至此有了更大的推助力和更顺理成章的逻辑基础。
不过，我们要是从制度背景层面看胡惟庸案，或许还可以发现其中深意藏焉。胡惟庸死后第五天，朱元璋宣布——罢除中书省不设，废除左右丞相及其一切属官，惟存中书舍人，以政归六部。他在朝堂上告诫百官说：“自古三公论道，六卿分职，不闻设立丞相。自秦始置丞相，不旋踵而亡。汉、唐、宋虽有丞相，然其间亦多小人专权乱政。今我朝罢丞相，设五府、六部、御史台、通政司、大理寺等署，分理天下庶务，大权一归朝廷，立法至为详善。以后嗣君毋得议置丞相，臣下敢以此奏请的，置之重典。”朱元璋并下令将他的这番话载入《祖训》。
其实，对于徐达这样一个深得圣眷的人物，胡惟庸是一度想与他交好的。但徐达却不给胡惟庸面子，对他不理不睬。本来事情到了这里，胡惟庸也没什么损失，反正已经做了宰相，你徐达不愿意结成战略同盟也就罢了，大家井水不犯河水而已。偏偏胡惟庸恼羞成怒，竟然贿赂徐家的守门人福寿来加害徐达，所幸被福寿揭发，事情才得以未遂。因此，徐达“深疾其奸”， 对胡惟庸的人品更加鄙视，虽然他没有藉此向胡惟庸发难，却还是屡屡提醒朱元璋：胡惟庸这种人不适合当丞相。应该说胡惟庸在与徐达的关系处理上，颇有失策之处，这给朱元璋留下了很差的印象分。从刘基到徐达，胡惟庸在人际关系的处理上昏招叠出，导致朱元璋疑心渐增。
由此，胡惟庸终于以他的身败名裂换取了一种制度的嬗变：君权彻底打倒相权，大明从此无丞相。皇帝大权独揽。在这个背景下看胡惟庸的仕途起落，他曾经的所作所为其实是无足轻重的——在朱元璋眼里，他和汪广洋、李善长等所谓的丞相一样，都是一枚任其调用的棋子。处在什么位置上不是自己说了算，全看朱的机心，而胡惟庸之所以会成为那枚最有分量的弃子，一切都是时势使然。他在合适的时间做了一些出格的事情，而这些事情被皇帝朱元璋有目的地加以利用，仅此而已。
胡惟庸却毫无察觉。在刘基之外，他又将进攻的矛头对准徐达。徐达是朱元璋的发小，很早就跟着朱元璋去打天下了。至正二十四年（公元1364年）正月，朱元璋称吴王，以徐达为左相国。洪武三年（公元1370年），朱元璋授予徐达右丞相之职，封“魏国公”，食禄五千石。在明初任职丞相的四人当中，李善长、胡惟庸和汪广洋最后都“见罪”被杀，只有徐达得以善终。朱元璋曾经如是评价徐达：“受命而出，成功而旋，不矜不伐，妇女无所爱，财宝无所取，中正无疵，昭明乎日月，大将军一人而已。”这从一个侧面反映了徐达在他心目中的地位。
只是胡惟庸自己，到死也没明白朱元璋的机心。对他个人来说，这大概才是悲剧之所在吧。