建德中，率水军三万，破齐师于河桥。明年，从帝平齐，进位柱国。与宇文宪破齐任城王高湝于冀州，除定州总管。先是，定州城西门久闭不行，齐文宣帝时，或请开之，以便行路。帝不许，曰：“当有圣人来启之。”及高祖至而开焉，莫不惊异。寻转亳州总管。宣帝即位，以后父征拜上柱国、大司马。大象初，迁大后丞、右司武，俄转大前疑。经过二十多年经营，公元580年，杨坚已爬升到骠骑大将军、大兴郡公的位置，其女也成为北周宣帝皇后。
北周宣帝病死后，年幼的静帝继位，杨坚勾结近臣作伪诏，以「入宫辅政」为由，取得了辅政大臣之职，总揽朝政，总揽军政大权，号称「假黄钺左大丞相」，都督内外军事。这时杨坚夺取北周政权已成“骑虎难下”之势。他安插亲信，部署力量，积极做准备。在果断地铲除了北周宗室中最有实力的“五王”之后，又镇压了尉迟迥、司马消难等人的兵变。
581年，杨坚迫使北周静帝禅位，二月甲子日，周静帝以杨坚众望有归下诏宣布禅让。杨坚三让而受天命，自相府常服入宫，备礼即皇帝位于临光殿，定国号为大隋，改元开皇，宣布大赦天下。杨坚由继承父亲杨忠的随国公起家，其家族曾被赐姓普六茹，进称随王,故把自己新王朝的国号定为随,他又感到随字有走字旁，与走同义,不太吉利,便改随为隋。