在公元578年，周武帝病死，宣帝即位。杨坚的长女做了皇后，杨坚升任上柱国、大司马，掌握了朝政大权。加上年少的皇帝也比较昏庸荒淫，在群臣中没有威信，于是，杨坚便开始准备取而代之。
杨坚的行动多少让小皇帝有所察觉，但没有真凭实据，他也没法处罚杨坚，何况他还是自己的岳父大人，更难下决心做事。杨坚为了避免皇帝的猜疑，就想到地方上去任职，也为将来有变时能利用实力争夺皇位。于是，他便把这种愿望告诉了自己的朋友、内史上大夫郑译。
到了公元580年，机会来了，皇帝决定出兵南伐。郑译便向皇帝推荐了杨坚，皇帝对郑译原来就很信任，于是任命杨坚为扬州总管。但是，还没等出征，周宣帝便一病不起。在郑译的参与和其他关西士族的支持下，杨坚他们做了一个假诏书，以宣帝遗诏的名义宣布：杨坚以外戚身份入宫辅助政，任宰相，总揽大权，进封为隋王，辅佐刚八岁的周静帝宇文衍。
宣帝死后，杨坚等人并没有立即公布消息，而是趁机用假诏书夺取了军政大权，以及京城部队的指挥权，等一切准备就绪后，这才发布了皇帝去世的消息，辅佐小皇帝即位。
杨坚做了辅政大臣后，首先建立了新的领导班子，吸收了一些有才干的人，稳定政局，并宣布革除宣帝时的酷厉苛刻之弊，深得人心。然后又向威胁他地位的宗室各王展开了攻势。
刚去世的周宣帝的弟弟宇文赞在朝廷中和杨坚的地位不相上下，是杨坚秉政的一大障碍。杨坚便派人对他说，你不必再这样劳累地参与政事。以后的皇帝位置肯定是你的，你只管回家等着就行了。宇文赞一来年轻，二来也没什么谋略，就相信了。
没了身边的对手，杨坚又向其他的王下手了。已经成年而且在地方有些势力的是五个王，如果他们联合起兵，杨坚还很难对付。所以，在他们得知宣帝病逝的消息之前，杨坚便用假诏书将他们召回到长安，然后收缴了他们的兵权和印信。
五个王见自己无法与杨坚抗衡，便秘密联系在外的另一个王起兵，但不久便被杨坚打败。五王只好寻机下手。一次，他们设下鸿门宴，请杨坚去，幸亏随从的人有所察觉，拉他借口跑出来。然后，杨坚便以谋反罪杀掉了主谋的两个王，其他三个不久也被除掉。宗室势力被消除后，杨坚的皇帝之路平坦了许多。
解除了中央的威胁后，地方势力也开始反对他，河南、四川、湖北等地的将领纷纷起兵。经过打与拉两手策略的较量，杨坚在半年后，终于平定了三地的军事力量，彻底控制了北周的政权，做皇帝仅仅是一个形式的问题了。
到了公元581年的正月，杨坚走了一个前人使用过的体面形式——禅让。他让人替周静帝写好退位禅让诏书，然后送到他的王府。杨坚假意推辞，最后才接受了大家的意思，穿上皇帝服装，登上心仪已久的宝座。这时的杨坚刚四十岁。
因为杨坚是继承的父亲的爵位随国公，后来又进封为随王，因此把新王朝定名为“随”，但又觉得这个字有个和“走”同义的偏旁，于是，把这个不太吉利的偏旁去掉，成了“隋”。
年号也按照惯例改了，定为“开皇”。但都城没有变动，仍是长安。杨坚虽然改了随字，但隋朝还是没有逃脱短命的命运，仅仅三十年便灭了。说来也是巧合，当初杨坚夺取的是宇文氏的帝位，而他的儿子隋炀帝杨广也是命丧宇文氏之手。