宰相制度早在明洪武十三年(公元1380年)就被明文废除了。
但这种说法虽相沿已久，其实并非毫无问题：明太祖朱元璋明文废除的其实是“丞相”，而不是“宰相”。
在《皇明祖训》中记载称“自古三公论道，六卿分职，并不曾设立丞相，自秦始置丞相，不旋踵而亡，汉、唐、宋因之，虽有贤相，然其间所用者多有小人，事权乱政。今我朝罢丞相，设五府、六部、都察院、通政司、大理寺等衙门分理天下庶务，彼此颉頏，不敢相压，事皆朝廷总之，所以稳当。以后子孙做皇帝时，并不许立丞相，臣下敢有奏请设立者，文武群臣即时劾奏，将犯人凌迟，全家处死”。
很显然，朱元璋只是不许子孙再恢复自己废除的丞相一职，而并无一字提及不许恢复宰相。在中国古代，丞相和宰相其实是有重叠但并不相同的两个概念(尽管常常被混淆)。
最初“相”是个动词，意思是“帮助”、“辅佐”，伊尹、周公、姜尚这样的人物在当时或后世会被称为“相”，而在外交活动中临时担任赞礼工作的人也会被称作“相”。后一种“相”并非固定身份，外事活动结束后便回归本职，而前一种“相”也只是一个泛称，他们并非以“相”而是以其它身份行使职责，且同被称作“相”，其权限也相差甚远，伊尹可以驱逐国王，自己居摄，周公虽然也“居摄”却要畏惧国王听信谗言后猜疑自己，而姜尚的权限充其量相当于一个高级幕僚。
春秋末年齐景公置左右相(《左传》中公元前546年已有此职务)，到战国时绝大多数国家都设立了“相国”一职，作为文臣的最高职位。周赧王六年(公元前309年)，秦国率先将相国改为“丞相”，此后这个职位大多数时候称“丞相”，有时也会改回“相国”。
丞相的职权很大，可以负责全国官员考核奖惩(上计)，并直接负责许多中枢部门，因此对皇权构成威胁，汉哀帝元寿二年(公元前1年)改丞相为大司徒，此后直到汉朝末年，只有王莽、曹操等有篡位野心的权臣才会设法重新让自己获得丞相的职位，大司徒虽位列三公，权限已远不如丞相。
“宰相”一词大约在南朝时开始出现，而在唐代成为普遍的称呼，所指的是有秦汉丞相类似权限、但没有丞相名衔的文官，随着中枢权柄的转移，被称作“宰相”的在南朝先后有尚书令、中书令，待唐朝推行三省六部制后，三省长官尚书令、中书令和门下侍中都被称为宰相，但由于这三个职位很高，并不常设立(由于唐太宗李世民曾任尚书令，这个职位在唐代很少授予他人)，因此实际上的唐代宰相往往是以“同中书门下三品”、“同中书门下平章事”等头衔办公。从此“宰相”和“丞相”两词便分道扬镳了。
什么叫“分道扬镳”?就是说宰相不一定是丞相，而丞相也未必是“真宰相”。
唐、宋两代大多数时间，宰相都是以前述各类名目办公，直到南宋孝宗乾道八年(公元1172年)才恢复了丞相一职，且这个“丞相”的确就是宰相。而辽、金等少数民族政权则既设尚书令、平章政事又设丞相，且都具备宰相职权，后者这种叠床架屋的设定被元朝因袭，并进而设置了实际上是以中央外派官员、机构身份行使地方职权的行中书省丞相。
明初的官制在很大程度上是模仿元代的，因此丞相就是宰相，废除丞相也就实际上等于废除了宰相，但毕竟法律条文上被废除的仍然是丞相，不是宰相，如果后来的帝王以“同平章事”之类古已有之的职衔恢复宰相，是完全可以绕开“祖训”的，之所以没人这样做，恰是因为废除宰相可以实现“事皆朝廷总之”(皇帝一个人说了算)，让帝王觉得“稳当”，因此借“祖训”压服异议者，实现自己不设宰相、大权独揽的私心。清代康熙、雍正、乾隆三代帝王不断借各种场合、形式抨击宰相制，甚至倘发现有官员按照当时风俗，将大学士称作“相爷”也要训斥甚至处罚，“废除丞相就是废除宰相”的错觉，其实是一代代层累，直到清代才被以上谕、朱批之类“法定”的。
丞相在唐代曾“复活”过两次，一次是武周光宅元年(公元684年)由尚书左右仆射改名，中宗神龙元年(705年)又改了回去，另一次是玄宗开元五年(公元717年)，将中书令和门下侍中分别改名右相、左相，天宝元年(公元742年)又恢复旧名称。由于当时已有“真宰相”即同中书、门下三品等，这些挂名的“丞相”实际上并不是宰相。
朱元璋废除丞相后，中国只有太平天国设立了丞相职位，最初设天、地、春、夏、秋、冬六官正、又正、副、又副共24名丞相，后又增设恩赏丞相、殿左右丞相等，人数已多到数不胜数，这些“丞相”同样并非宰相，而只是职能官员——太平天国实际上是有“宰相”的，但其职衔不叫丞相，而叫“军师”。
一些学者就此认定，“宰相”在中国只是最高文官的泛称，而并非实际职位，这也并不完全正确，其实“宰相”曾经作为正式官职出现过两次。
一次是辽代。辽代官职分北面、南面两个系统，其中北面主要治理契丹人，南面则主要治理汉人，北面系统中设有宰相府，先后设立过宰相、左右宰相等，宰相府管辖五院一司，职责重大，其长官“宰相”可以被视作名副其实的真宰相。
另一次则是太平天国。清左宗棠咸丰十年底(公元1861年1月6日)曾奏报在安徽黟县擒斩太平天国侍王李世贤部宰相黄世瑚。如前所述，太平天国的“真宰相”是军师，黄世瑚的主帅李世贤当时还未当上军师(后来当上过)，在李世贤之下，则还有主将、佐将、总提、六爵等层层叠叠的官爵，这个空前绝后的“宰相”如非左宗棠弄错，也充其量只是个中低级军官，离“真宰相”则差得太远了。