李善长走后，接位之人是汪广洋。中书省进入第二届权力格局——左丞相汪广洋加右丞相杨宪。胡惟庸注意到，汪广洋是在陕西参政任上匆匆赶回京城赴任的。皇帝没有起用他这个中书省参知政事而是外调一个地方干部入京，胡惟庸也谈不上有多大失望。因为他隐隐感到，淮西派的去势势必会波及于他。他和李善长是一荣俱荣、一损俱损的关系。官场上的事情多是这样，什么派系什么出身远胜于工作能力。汪广洋虽然算起来也是个老部下，朱元璋起家时他便追随左右，曾被朱元璋聘为元帅府令史、江南行省提控等官职，也曾受命参与常遇春军务，可毕竟官职都不高。洪武元年(公元1368年)，大将军徐达平定山东，朱元璋命汪广洋署理山东行省。洪武二年汪广洋参政陕西，三年召为中书省左丞。其实要论官场履历，胡惟庸觉得自己并不逊色于汪广洋，何况他还有在中书省的实践工作经验。可是，为何偏偏是汪广洋受宠于皇帝呢？
应该说胡惟庸在心里对此事是很有好奇心的。这不仅仅是出于猎奇的本能，还在于跟自己有利害关系。因为说到底他是李善长一派的，也就是所谓的淮西派。李善长是定远（今安徽省境内）人，元末时就追随朱元璋做了他的幕府掌书记。李善长一步步发达后，追随他的人就被称作淮西派。李善长当年在位时，曾经提拔同为安徽定远人的胡惟庸为太常少卿，不久又升其为太常寺卿。甚至胡惟庸后来任职中书省参知政事，也是李善长力荐的，所以胡惟庸可称之为铁杆的淮西派。其实在李善长去位前，胡惟庸听到一个小道消息，说李曾被朱元璋告诫说：“人之一心，极艰检点，心为身之主，若一事不合理，则百事皆废，所以常自检点，凡事必求至当。”这是朱元璋暗示李善长要激流勇退的意思；而另一个小道消息则是说作为淮西派的李善长和作为浙东派的刘基在处理中书都事李彬犯法一事上两人意见不合，导致刘基告老还乡。而皇帝因为李善长和李彬有私交心生不喜，故而将他也罢了去。小道消息终归是小道消息，不可以作为圣心难测的依据，也不可以作为李善长仕途坎坷的一个证明。胡惟庸在洪武初年深陷仕途谜雾，只是想为自己找一个出路而已。
胡惟庸注意到，和李善长粗通文墨相比，汪广洋的文化程度要高得多。他是元末进士。通经能文，诗写得好，隶书也相当不错。或许丞相一职还是需要文人来担任吧。坊间流传，至正十五年（公元1355年）朱元璋渡江，打下采石矶后向汪广洋问计，汪献上“高筑墙广积粮”这一定国安邦之计，最终助朱元璋夺得天下。虽然另有一种说法是刘基向朱元璋进呈此计的，但胡惟庸观察，汪广洋和刘基很可能英雄所见略同，要不然皇帝也不会对其如此器重，破格提拔。其实要论蛛丝马迹，在洪武三年朱元璋封赏百官的举动中也是可以初见端倪，同年冬月，汪广洋被朱元璋封为护军忠勤伯。朱元璋在给他的封诰词中说，汪广洋“善治繁剧，屡献忠谋，比之子房、孔明”（见《明史》）。子房、孔明是什么人，都是名相，这就为汪广洋拜相打好了舆论基础。但汪广洋拜相后，却和他的搭档杨宪形成了强烈的性格反差。杨宪是右相，按级别低于他这个左相。如果将汪广洋比之于一国总理的话，杨宪相当于副总理。只是这个副总理性格霸道，不甘心做一个副手。其实也难怪，要论资历，杨宪也是从战争年代走过来的老干部了。元末至正十六年(公元1356年)，朱元璋攻克建康（今江苏省南京市），杨宪来投，和当时的李善长一样，追随朱元璋做了他幕府的掌书记。并且很快，杨宪因为办事干练，成了朱元璋的亲信。1367年，朱元璋派自己的外甥李文忠担任浙东行省右丞，又让杨宪随行辅佐，同时，命其暗中监督李文忠的所作所为。从这当中可以看出，朱元璋对杨宪那是相当的信任。杨宪后来举报李文忠启用曾在张士诚手下做过事的儒士屠性、孙履、许元、王天锡和王橚等人任职，是政治上不成熟的表现，也是新政权的隐忧，希望朱元璋能够采取断然措施，以防后患。朱元璋接报后，立刻派人将这五个“内奸”押解进京，随后下令处死屠性、孙履二人，其余三人充军发配。而杨宪得到朱元璋宠信后，仕途也步步高升。他早在洪武元年(公元1368年)就任中书参知政事，进入中书省的时间比胡惟庸还早。杨宪在中书省工作期间，罢旧吏，用亲信，做事独断专行，并不将李善长放在眼里，他甚至多次向朱元璋打小报告说：“李善长无大才，不堪为相。”这其实是有他隐秘政治野心在的。那就是打倒李善长，自己取而代之。对于这一点，不光李善长，连胡惟庸也看得很明白。当李善长还在台上时，胡惟庸就曾忧心忡忡地对他说：“杨宪为相，我等淮人不得为大官矣。”胡惟庸之所以要着重强调“我等淮人”，那是意有所指的。杨宪虽是太原阳曲（今山西省太原市）人，政治派别上却属浙东集团（刘基）。他要是为相，淮西集团自然要被打压下去，所以胡惟庸才担忧。
帝国创建伊始，中书省第一届权力格局为左丞相李善长加右丞相徐达。这李善长是朱元璋的淮西老乡和儿女亲家，朱元璋当年起兵自立为吴王时，就以李善长为右相国，居百官之首（彼时官阶品秩尚右，故有此说）。洪武三年(公元1370年)，朱元璋封李善长为韩国公,岁禄四千石，子孙世袭；予铁卷，免二死，子免一死。意思是朱元璋在洪武三年时特赐李善长一方铁制的凭券，上面标明李善长若犯事可享免除两次死刑、他儿子免除一次死刑的政治待遇。甚至朱元璋评价李善长时称之为“在世萧何”，这个评价可谓盛誉。的确，在过去的戎马岁月中，李善长虽然只负责军队粮饷的供应，却深得朱元璋信赖。但世事变幻莫测，李善长的丞相竟只做到洪武四年，随后就戛然而止了。那一年，他以疾致仕（退休），时年五十八岁。朱元璋也没有做出什么挽留的表示，而是很快批准了他的病休报告。事实上李善长的病也不是什么大病，因为他在病好之后开始专门负责筹建临濠（今安徽省凤阳县，朱元璋老家）宫殿事宜。在当时，朱元璋迁徙了江南十四万富饶人家到临濠去，以充实、发展他老家的生产和经济，又让李善长专门负责这件事。虽然筹建临濠宫殿之事也很重要，不过和一国之相所要承担的责任和荣誉相比，很显然，李善长是被弃用了。并且这样的弃用是用一种很委婉的方式表现出来。其实在帝国权力场，类似的事情是很敏感的，外人不便深究，当事人又不愿细说，便成为官场的禁忌话题之一，人人熟视无睹，多作不感兴趣状。
的确，胡惟庸不是杞人忧天。杨宪上台后，不仅打压淮人，连中间派、他的顶头上司汪广洋也没有放过。汪广洋虽然明知自己的职位在杨宪之上，凡事让杨宪拿主意，自己只做一个空头宰相。但杨宪却让他空头宰相都做不下去。他随后指使侍御史刘炳以“奉母无状”（见《明史》）的罪名弹劾汪广洋，指其不孝。汪广洋于是被贬到海南，而杨宪也如自己所愿做了左丞相——胡惟庸最担心的情形出现了。但是，谁都没想到，就在这个时候李善长出招了，他向皇帝上疏称侍御史刘炳弹劾汪广洋是受杨宪唆使，而所谓的罪名也是莫须有的。李善长称杨宪为人奸诈、任人唯亲、扰乱朝纲，此人不去，实为大明之患。李善长的上疏应该说是个风险很大的举动。作为已经下野的前高官，和正在台上深得圣眷的第一丞相较量，胜负自是难料。而就在此时，另外一件不利于杨宪的事情发生了。他的外甥在科考中因为公然抄袭被抓，杨宪为了遮丑亲自审理此案，试图大事化小、小事化了。朱元璋在接到李善长的上疏后宣布改由胡惟庸来接手这桩科考舞弊案。胡惟庸值此关键时刻，没有和稀泥，而是深刻领会到皇帝朱元璋那一丝隐秘意图和李善长呼之欲出的良苦用心，查出杨宪在审理其外甥科考案中存在徇私舞弊的情形，并建议皇上严惩。朱元璋果然严厉处置，不仅罢了杨宪的职，还抄了他的家，甚至亲自下令处决杨宪，同时，宣布召回汪广洋。中书省的权力格局由此大变，汪广洋重新上位为丞相，全面主持中书省的工作。但汪广洋从地处荒僻的海南回来后一直战战兢兢，凡事不敢自己做主，其懦弱程度比杨宪在时有过之而无不及，以致于朱元璋不得不在洪武六年（公元1373年）正月下文将汪广洋贬为广东行省参政。如此一来在中书省里，老资格的官员就剩下胡惟庸一人了。在从正月到七月那漫长的六个月里，朱元璋“久不置相”，冷眼旁观胡惟庸的所作所为。胡惟庸暗夜里也无数次地回顾自己的人生履历：先是朱元璋元帅府奏差、宁国县主簿、宁国县令、吉安通判、湖广佥事，然后是太常少卿、太常寺卿，最后为中书省参知政事。说起来也算是从基层一步步走到正部级岗位上的，离位极人臣其实只有一步之遥。胡惟庸大约是期待那个相位的，又似乎有些恐惧。因为丞相这个位置说到底祸福相依。从李善长、徐达、汪广洋到杨宪，没有一个人可以久居其位。有人为它颠簸流离，甚至有人为它掉了脑袋。可真要断了念想，胡惟庸似乎有些不甘心。毕竟是凡人，于名利多是有追求的。
大明洪武六年（公元1373年）正月，做了三年中书省参知政事的胡惟庸惊讶地发现——帝国人事出现了异动。皇帝朱元璋以“广洋无所建白，久之” （《明史》）为由将右丞相汪广洋贬为广东行省参政。丞相一职暂时空缺，甚至春天已然过去，夏天也如火如荼地到来之时，朱元璋也不明下红头文件，指定新的人选来主持中书省的工作。作为参知政事的胡惟庸一边干着中书省的实际工作，一边感慨帝国权力场的情境变得微妙起来。
洪武六年（公元1373年）七月，朱元璋下文，任命胡惟庸为右丞相，左丞相一职暂时空缺。胡惟庸自此开始全面主持中书省的日常工作，长叹一口气，觉得自己可以有所作为了。