来，政治、军事和纪检部门分工明确，但实际运作中，大都督府和御史台却都是受中书省节制的。
作为中书省最高长官，李善长和徐达这两个左右丞相为正一品，表面上和中书省平行的大都督府、御史台的最高长官大都督和左、右御史大夫才只是从一品。所以光从品级上来看，大都督和御史大夫就比宰相要矮上一头。
加上徐达作为武将，长年领兵在外，追讨遁入草原沙漠的北元势力，这样在朝廷上能够一言九鼎的大臣就只有李善长了。李善长跟随朱元璋多年，既有高超的行政才能，又深得皇帝的信任，身边逐渐形成了一个以他为首的功臣集团。集团中的人分布于明初帝国政府大大小小各部门之中，把持着政府的行政运作。
即使李善长是个完人，面对如此朝局，也会有一时的得意忘形吧。何况他绝非完人，明史说他“外宽和，内多忌刻”，参议李饮冰、杨希圣稍微侵犯了他的权益，就被他安上个罪名给罢黜了。这样一个小心眼的家伙做宰相，必然会党同伐异。李善长是淮西出身，他所重用的也都是淮西人，在朝廷上，除了中书权重，还有一个淮西朋党的现象，李善长对于非淮西人士一向没有好感，我们所熟悉的刘基刘伯温，就是非淮西人士（他是浙江青田人，所以也被叫做“青田先生”），在淮西党的排挤下被迫告老还乡，离开朝廷。
面对这种情况，朱元璋自然不能容忍。
明朝从1368年建立，当年就是洪武元年，到了洪武四年（1371年），汤和、傅友德平定四川，割据蜀地的明昇投降，天下大势已定。虽然还有一些小势力在边境上打打闹闹，虽然扩廓帖木儿领着北元兵还在和徐达恶斗，虽然梁王还在云南苟延残喘，但平灭或者驱赶他们只是时间问题而已，不出什么天摇地动的大妖蛾子，朱元璋也没有急病突然咽气，可以说这大明朝的天下是占定了。所以朱元璋就可以放开手，开始改革沿袭于元朝的一揽子朝廷制度了。
首当其冲的自然是宰相制度。
中书省的存在对于朱元璋而言日益碍眼。他要总揽大权，势必要废除宰相制度，要废除宰相制度，就不能不找人开刀，否则师出无名，就算扒掉了在任的宰相，也未必就能够废除制度，就算废除了制度，也难免会惹来朝野非议。就这样，屠刀首先伸向当时独相的李善长。
然而李善长对于朱元璋来说并不仅仅是个普通的臣子，在反元斗争中积累起来的情谊并不比徐达等将领少，对于这个大他十几岁的长者，朱元璋心里还存有一份敬意——洪武初年即帝位、册封皇后太子等等的礼仪中，就都是李善长做大礼使，朱元璋甚至还让李善长担任太子朱标的太子太师。这样一个亦臣亦师的人在宰相位置上还呆着一日，他就无法撕下面皮来对付老朋友。
何况，洪武三、四年前后的朱元璋可能并不想对功臣们大开杀戒，从他对功臣们的封赏之重，我们依稀可以看到宋太祖行事的影子。一来统一大业尚未最终完成，还需要这些功臣们尽心出力，二来朱元璋和诸臣一路走来，毕竟有些香火情分。
于是，李善长在洪武三年达到了他为官生涯的顶峰。
立于大明朝官僚机构的顶峰，李善长虽然有些得意，但也并没有完全被富贵荣华冲昏了头脑，他在朱元璋麾下这么多年，对于朱元璋的了解可能比朱元璋自己还要深。此时的大明朝，虽然北元未灭，西北、东南尚有一些割据政权没有归顺，但以今日时势来看，一统天下只是迟早，太平时日指日可待。但李善长深知朱元璋不会满足于做个放手撒权的太平皇帝，自己所辖的中书省威权最重，也最是皇帝的眼中钉，在中书丞相位置上一日，被皇帝猜忌的疑心就多一分。
李善长是聪明人，转过年来的洪武四年正月，他就以老病为由向皇帝上表请求致仕——为了保全自己，我主动退休，让出左丞相这个烫手的山芋，今后就悠游田里，做个太平田舍翁吧。
朱元璋接到他的奏章后一点磕巴都没打，立刻准奏，58岁的李善长就这么离开了朝廷。旨意一下，举朝震惊，朱元璋与李善长的亲厚众所周知，两个月前刚刚被封为国公，转眼就致仕了！虽然老先生致仕时皇帝给了无数封赏——仅为他家打仪仗的就有二十户之多，但不管怎么说，没了左丞相的实权是事实。这下人心鼓噪，朝局大动。
待到皇帝宣布李善长的继任者时，大部分朝臣才安下心来——以汪广洋为右丞相，胡惟庸为左丞。左丞，是中书省的实际政务执行人。汪广洋为人谨慎到了懦弱的程度，至于胡惟庸，举朝皆知，那是李善长的私人，这次能够入相，也是由李国公向皇帝举荐的，可见即使李善长人离开了中书省，他的心和眼还都留在这里。看来皇帝对于李善长的信任并未稍减啊。
的确，直到洪武十三年胡惟庸“谋反”案发，朱元璋龙颜大怒，誓言追究到底。追究来追究去，也没追究到全天下都知道的他的后台——韩国公李善长头上去。
李善长在朱元璋的心里，和胡惟庸这个被推到台面上的棋子，分量终究不同。
昙花一现的杨宪
早在洪武初年，朱元璋就曾经和刘基讨论过李善长之后的丞相人选问题。刘基在朱元璋心目中虽然没有李善长那样亲厚，却也是颇为倚重的肱股之臣。若说李善长是朱元璋的萧何，则刘基就是朱元璋的张良，原因就在于这位刘伯温先生对人事的判断力极佳。
可惜，这只是华丽丽的表面现象。
朝廷按家乡地域划分的两大派，李善长是淮西派的首领，刘基就是浙东派的首领，一直以来朱元璋都表现得和淮西派比较亲近——朱元璋自己就是淮西人嘛，照顾老乡也是人之常情。但在淮西派首领尚在位的时候就单独找浙东派首领讨论如此重要的问题，内中所传达的政治信号非常微妙。
“李善长年纪大了，也该到了颐养天年的时候了，先生看是不是该换下他了呢？”朱元璋诚恳地请教道。
刘基在朝廷中经常受到淮西派的排挤，这其中有多少来自李善长甚至朱元璋本人的授意？刘基并不想追究，他既有读书人兼济天下的理想，也有强权之下明哲保身的智慧。相比李善长，刘基更为了解朱元璋的心性，或者说，他更了解拥有“皇帝”这个光环的人的心性。他知道，朱元璋现在碍着统一大业未成，加上还有些当年的同袍之情，不会大下杀手，但随着时间的积累，对权力的渴望必然日益加深，到那时候，谁还胆敢呆在丞相的位置上，谁就是第一个屠刀下的冤魂！
“善长是元勋功臣，能够调和诸臣，不好立刻换掉。”您还是让李善长留在这个棘手的位置上吧，千万可别指望我。
“李善长经常在我面前揭你的短，你还这么替他说情吗？”朱元璋看着刘基，“朕想让你接替他呢。”
果然好的不来坏的来，刘基乍闻此语，吓了一大跳，匆忙顿首叩头：“臣的才能不足以担任丞相之职。”开玩笑，真当上丞相，不等朱元璋下杀手，单是淮西派大小臣工明着白眼、暗着小动作就够受的了，还是不要跳进这个火坑为好。
“那么你看杨宪如何？”杨宪，就是前面提到过的那位被李善长找了个由头罢黜的杨希圣的兄弟，现在是中书右丞，就在仇人李善长的手下干活。在李善长还没提出退休请求的时候就开始考虑让他的对头来接班，朱元璋安的什么心思呢？
“杨宪有丞相的才能，但没有丞相的气度。”
“汪广洋呢？”汪广洋在洪武元年是中书省的参知政事，可没干几天就被外放到陕西去了。
“汪广洋器量狭小，还不如杨宪呢。”
“胡惟庸呢？”胡惟庸这时还没进入中书省，只是分管朝廷祭祀礼仪的太常寺卿而已。
“不可不可，胡惟庸只不过区区小犊，一亩三分地还行，若是重用，只怕为祸不浅。”
提名三人，否决三人，朱元璋只剩下了沉默。
日后诸事底定，这段话反复为后人所咀嚼，成为刘基断事如神的铁证之一。朱元璋明明知道了刘基对这三个人的看法，却还是先后将这三个人派到了中书省，让这三个没有宰相之材的家伙坐在宰相的高位上，所引发的结果，自然会偏离中书省本应承担的责任，却日益接近朱元璋本人对他们的期望——如果他真的需要兢兢业业完美无缺的好宰相，继续留任李善长或是直接任命刘基就行了嘛，让杨宪、汪广洋、胡惟庸这票人上台，当然是故意留给他们犯错误的机会。
且说这段著名的对话结束之后不久，洪武三年下半年，李善长因病回家休养，而徐达还领兵在外，中书省一时没了主事的人。朱元璋把汪广洋从陕西调回来担任中书左丞，意思是让他主导政事。但汪广洋为人真是懦弱到了极点，本来明朝以左为尊，他身为中书左丞，比担任中书右丞的杨宪地位高，但却处处受杨宪的制约，被杨宪步步紧逼，说汪某人对母亲不够孝顺，“奉母无状”，没几天就被赶出了中书省，甚至还被判流放到天涯海角的海南岛去。
汪广洋被赶出中书省后的当年七月，朱元璋提拔杨宪担任中书左丞，成了中书省的实际负责人，同时将胡惟庸调入中书省担任参知政事。排挤走了汪广洋，杨宪自以为得志，丝毫没有考虑到胡惟庸进入中书省是为了制衡他，胡惟庸在他眼里，根本就没有威胁——胡惟庸虽然很早就加入朱元璋集团，但他一直都担任中下层官吏，无论是论在反元建明的斗争过程中的功劳，还是论和朱元璋本人的亲密程度，都一个天上，一个地下，完全没法和他杨宪相提并论。
杨宪刚有了实权就忘乎所以，直接把矛头对准了仇人李善长，他的躁进为自己招来了灭顶之灾。就在成为中书左丞的当月，他就犯了案子被朱元璋给宰了。
史书上对杨宪之死含糊其辞，只说是犯事被诛，犯的什么事？没人知道。只知道在他死后，汪广洋迅速被从流放的路上召回，继任中书左丞，参知政事胡惟庸仍然留任。
杨宪昙花一现，迅速从政治舞台上消失了。他消失得那么蹊跷，其中内幕几百年后仍然不为人所知。但在审视锦衣卫成立之前的历史时，有一批人活动的身影逐渐浮现在人们眼前，梳理他们的活动，或许可以解释杨宪的突然死亡。这些人大多没有在历史上留下姓名，只有一个称呼——“检校”。
检校，顾名思义，就是检查和考校的意思。检校不是正式官名，也没有办公机构和固定人数，说白了，他们就是朱元璋安插在不同部门不同职业中的特务。检校成员很复杂，三教九流无所不包，上至朝廷官员，下至贩夫走卒、和尚道士，甚至路边乞丐都有可能是检校成员。
朱元璋虽然亲自领导检校组织，但他也不可能事必躬亲，也需要有人替他管理，据说杨宪就是检校成员，而且还是其中的领导人员。
作为文官中的一员，杨宪在朱元璋心目中的地位并不低，并且他很有能力，就连刘基也不得不承认这一点，前面那段著名的对话中，刘基认为杨宪是有丞相的才能的，只是他没有丞相的器量而已。器量，对于一国的宰相来说是必备的品质之一，所谓“宰相肚里能撑船”是也。刘基为何如此断定杨宪没有做丞相的器量呢？想来杨宪是检校一员的事情对于国初功臣们来说也不是秘密，要做一个好的情报人员，必然有很强的观察力，但似乎不必须要有器量，锱铢必究，不放过任何可能的线索，宁错杀三千不放过一个似乎才是情报人员应该具备的素质。
而杨宪也的确具备这样的素质。且说朱元璋建立明朝的前一年，也就是1367年，他终于打败了大敌张士诚，随即就将张士诚的地盘、原元朝江南行省改称浙东行省，派外甥李文忠担任行省右丞，总管军务，杨宪名义上作为属官随行辅佐。临出发前，朱元璋告诫杨宪说：“李文忠是我外甥，他年纪还小，没有什么历练，浙江方面的事务都由你做主。如果出了问题，我只拿你问罪。”
杨宪不光是李文忠的属官，他更是朱元璋不放心外甥掌管军务而派出的检校。果然，杨宪并没有因为李文忠是朱元璋所宠爱的外甥而有所顾忌，不多久就向朱元璋报告说李文忠不听他的话，任用儒士屠性、孙履、许元、王天锡、王祎等人干预公事。那时浙江作为前敌占区，许多读书人都在张士诚手下做过事，如今虽然归到了朱元璋的地盘，但对这些人，朱元璋却始终不大放心。一听到杨宪的报告，他立刻派人把这五个人押解进京，结果屠性、孙履被杀，其余三个人则充军发配。
李文忠呆在浙东时间并不长，杨宪在短时间内迅速掌握了李文忠手下官员的动向，并一一向朱元璋汇报，他可称得上是个合格的情报人员。因此，在明朝建国后杨宪被任命为检校组织的负责人也是很有可能的，若是搁在明朝中后期，说不定他也是个飞扬跋扈的锦衣卫大员了。
要这么一个情报组织的头子做宰相，也只有朱元璋才能想得出来吧。或许在朱元璋眼里，有丰富情报工作经验的杨宪，正可以成为他安插在中书省的一枚有用的好钉子。然而杨宪太让朱元璋失望了——他一进入中书省，就像是变了个人似的。
以前杨宪做检校工作，向朱元璋报告某人某事还都有凭有据，但可能是兄弟杨希圣被罢黜的事情对他的打击太大，他面对李善长表面上不得不恭恭敬敬，私下里却一直想扳倒这棵枝繁叶茂的大树。
杨宪多次向朱元璋进言说：“李善长无大才，不堪为相。”李善长是何等人物？别说李善长曾经为朱元璋建立明朝立过多少功劳，单只论洪武初年的朝局，除了李善长，真个再没有第二人堪当宰相重任了，正如刘基所说的那样，协调众臣、统合政务正是李善长之所长。只怕在朱元璋心里，十个百个杨宪也抵不上一个李善长，杨宪这样冒进，终于辜负了朱元璋对他的期待。
表面上，中书省的几个办事大臣代表了不同的政治派系，因为李善长罢黜了杨希圣，更因为杨宪在朱元璋面前诋毁李善长，他自然被划到了淮西派的对立面。胡惟庸就曾经忧心忡忡地