隋朝建立后，废除了北周六官制度，设立了以三省六部制为主体的中央官僚体系。隋文帝设置尚书、门下、内史、秘书、内侍五省，其中秘书省类似于后来的馆阁，内侍省则是一个专门的宦官机构，实际掌握中央政权的是尚书、门下、内史三省。三省互相制衡，共同向皇帝负责。又于尚书省下设置吏、礼、兵、都官(刑)、度支(民)、工六部，三省六部制得以正式确立。
三省六部制是如何确立的?
三省六部制是经过长期发展而形成的官制。自魏晋南北朝以来，在国家的最高政权机构中，先后出现了尚书、中书、门下三省，但是三省的具体分工尚不明确。隋文帝认识到北周的六官制度不符合新政权的需要，于是即位后就以汉、魏旧制为基础，参照北齐官制，设置了三公(太尉、司徒、司空)、三师(太师、太傅、太保)等荣誉性，以尚书省、门下省、内史省(中书省)为最高权力机构。隋朝时，尚书省的权力过重，三省之间的职责分工还不十分明确，还未最终形成相互制约的机制，直至唐太宗时期，三省六部制才得以正式确立。
三省作为官署机构有着悠久的历史。其中尚书，可追溯到战国时代，时称“掌书”。实际上“尚”就是“执掌”之意，因此“尚书”就等于“掌书”。秦朝时，尚书是少府的属官，主管文书，保管皇室的图籍档案，故称“尚书”，为后世尚书省的发端。作为中国古代中央最高政府机构之一的内史省，与汉代的尚书有着渊源关系。
西汉沿袭秦制，尚书仍然属于少府，最初时职位很低，与尚冠、尚衣、尚食、尚浴、尚席合称“六尚”。汉武帝为了进一步强化君权，改革官制，设立以大将军为首的内朝，专门处理军国大事。为了便于出人后宫，由宦者担任，称为中尚书，简称中书，又因兼谒者之职，故称中书谒者，掌握机密要政，称之为中尚书，简称中书。
成帝时废除由宦者担任中书之制，此后至东汉末，改由士人担任尚书。东汉时设置尚书台，统领百官政事，其长官称为尚书令。东汉末期，曹操挟天子已令诸侯，在建置魏国百官时，设立秘书令，典尚书奏事，将汉武帝建立的内朝转为外朝官署，是国家的正式政务机关。曹丕自立为帝后，进行政治机构改革，改秘书为中书，设监、令各一人，监、令之下置中书郎若干人，于是中书省正式成立，其官员由士人充任。从此以后，中书省与尚书台并立。西晋以后，历代都沿袭曹魏立中书省，只有西魏为了争取中原地区汉族大地主的拥护，仿照《周礼》官制，实行六官制度。所谓六官是指天官、地官、春官、夏官秋官、冬官六府机构。
门下省是魏晋至宋朝时中央最高政府机构之一，历代的组织也不尽相同，但均以侍中为其长官。《旧唐书•职官志》说：“秦汉初，置侍中，曾无台省之名。至晋，始置门下省。南北朝皆因之。龙朔改为东台，光宅改为鸾台，神龙复旧。”侍中在秦代时由丞相指派在宫廷内外往来奏事的府史，因其在宫殿内供职，故称侍中，其办事机构称为侍中寺。汉代时，侍中随侍皇帝左右，有代皇帝“省尚书事”的责任，参与决策。西晋时改称为门下省，由皇帝身边的侍从机构，逐渐发展成中央政权机构的重心。
三省六部制是一种分工细致的制度。三省中，尚书省权力最重，史称“尚书省，事无不总”，是最高行政机构，依据皇帝昭命负责管理全国的政务;中书省(内史省)是决策机构，负责草拟和颁发皇帝的诏令;门下省是审议机构，负责审核政令。也就是说凡属于军国要政，都先由内史省预先谋划，并草拟诏敕，交由门下省审议，再交由尚书省颁发执行。门下省如果对中书省所草拟的诏敕提出异议，则可要求中书省重新拟定。凡中央各部和地方各部所呈上的重要奏章，均须由尚书省交给门下省审核，通过后，再由中书省奏请皇帝批阅或草拟批答，门下省对批答有异议，也可驳回修改。
唐朝延续了隋朝三省六部的权力机构，并加以完善。中书省长官在隋朝称为内史令，唐朝称为中书令，副职称中书侍郎，其余主要官吏有舍人、主书、主事、起居舍人、通事舍人等官员。门下省长官在隋朝称为纳言，唐朝改叫侍中，副职称为门下侍郎，其余主要官吏有左谏议大夫、给事中、录事、主事、左补阙、左拾遗、典仪、城门郎、符宝郎等。中书省和门下省掌握了皇帝身边和皇宫对外的所有官职，不但掌握著朝廷的重权，也是陪侍皇帝身边的人，有着举足轻重的地位，为后来的宦官专权奠定了基础。尚书省是真正意义上的朝廷设置，其部门长官为尚书令，副职为仆射，其他主要官吏有左丞、右丞、郎中、员外郎等。