尚书出现得很早，可以追溯到先秦，秦朝时是少府的属官。少府的职责是管理皇帝的财务和私人生活，其属下有六尚，分别是尚衣、尚食、尚冠、尚席、尚浴、尚书，尚书可以看作是管理君主文书收发的私人秘书，职权地位都很轻。
到了东汉时期，尚书机构叫做尚书台，因为光武帝刘秀将三公吉祥物化，诏书不必像西汉时期那样经过丞相和御史大夫的讨论，而是可以由尚书台直接发出，于是这个机构一下子就牛逼起来了，尚书台的长官尚书令也被称为“三独坐”之一。因为成了起草诏书，出台政策的地方，大臣要执掌朝政就必须录尚书事，也就是掌管尚书台。
由于尚书台变得日益重要，其工作变得更加庞杂，机构也慢慢扩充。尚书台发出的号令需要由九卿等政务官员进行实施，因而尚书要经常作为皇帝的代理人对政务官员进行命令传达、工作指导。渐渐地，尚书台开始向着政务机构的方向发展，其管辖的各个部曹也有了正式的名字。
到曹魏时期设立了中书机构，分走了尚书机构掌握机要和参奏的职权，尚书台便转型成了政务机构。转型后的尚书令和尚书仆射更像是主持政事的宰相，而负责具体事务的各部尚书则在职权方面和九卿产生了很大的重叠。关于尚书和九卿的职权重叠在西晋时期引发了大臣们的诸多讨论，最后在东晋时期对九卿进行了大规模的裁并，从此尚书处理政务成为了正规模式，尚书令也不再是皇帝的私人秘书，而是朝臣领袖了。
中书从诞生到发展都和尚书密不可分。中书产生于汉武帝时期，全称是中尚书，从名字就知道这个职位和尚书有很大的关系。汉武帝为了方便在后宫处理政务，用可以出入后宫的宦官担任中书，负责传递尚书的奏章。
西汉时期中书时置时废，东汉时没有设置中书。到了东汉末年，曹操设置秘书令，主管尚书奏事，十分类似西汉时期的中书令，但秘书令由士人而非宦官担任。曹丕代汉后，改秘书为中书，长官叫中书监，次官叫中书令，仍由士人担任。
曹魏的中书监机构取代了尚书台典掌机要以及出纳奏章的职权，成为了皇帝个人新的办公厅。并且由于中书监长期陪伴皇帝，其不但可以发布政令，还可以参与政务决策。因而虽然尚书令的地位高于中书监，但官员们更加乐意呆在中书省。东晋时期的权臣通常都要一边录尚书事，一边担任中书监，以掌控全局。
到了南朝时期，由于皇权力量相比东晋有了大的进步，皇帝们开始削弱士族权臣，提拔重用寒人，于是中书监、令等的职权渐渐被转移，地位轻微的中书舍人往往行使重要职责。到了南齐和南梁，中书舍人对中书省的控制正式形成制度化，机构也逐步完善，在中书舍人之下形成各个局，在政务方面指导尚书各曹，十分类似当年尚书和九卿的关系，这种机构也被人称为中书舍人省。但由于南陈被隋朝所灭，最终历史没有沿着这道轨迹发展下来。
和上述两个机构相比，门下省的情况说麻烦也麻烦，说简单也简单。麻烦是指其组织机构的变化非常复杂，不好理清楚，简单则是指其职能比较稳定，没有大的变动。
门下最初不是一个特定的官署机构，而是对皇帝身边的侍从、侍中、左右曹、诸吏、散骑、常侍、给事中等人员的统称。这些人员里最重要的是是侍中，侍中最初是加官，其职能包括服侍天子和充当顾问。到了东汉后期，侍中组织开始健全，设立了侍中寺的机构，成为后来门下省的雏形。侍中寺的另一重要官职是黄门侍郎，也称门下侍郎。
到了西晋时期，侍中寺进一步扩充，并改名门下省，散骑常侍和散骑侍郎也被归入其中。魏晋时期的散骑常侍和散骑侍郎陪伴皇帝身边，经常参与国事讨论，属于皇帝的顾问团队，是由贵族子弟担任的显职。东晋时期撤销了散骑常侍等，到了刘宋时期又重新设置，并成立了散骑省，又叫集书省，常被称呼为小门下，而南齐时期则干脆把集书省交由门下省统领。但此时的集书省基本成了闲散机构，其职位一般都是作为荣誉性官职授予年老官员。到了南梁时期，集书省又从门下省中被分离出，地位和职权也得到了提升，散骑常侍和侍中相当。门下省的部分职责也被划给了集书省，例如省阅奏文、提出意见等，两者成为了并立的机构。
和尚书以及中书一直在改变职责不同，门下省长期都是皇帝的私人顾问，因而其地位也随皇权的强弱而变化。在曹魏和西晋这种皇帝掌权的时期，侍中自然是重要职位，可以对政策制定起到关键作用。但到了东晋时期，侍中的重要性便随之衰减。而到了南朝，侍中又再次重要起来，在皇帝授权的情况下，甚至可以直接行使政务。