于是杨素向闽越进军，最终将叛乱平定。杨素回京后，隋文帝任命他为宰相，与高颎共同主持朝政。做了宰相的杨素，对待同事的态度不尽相同。朝臣之中，他推崇高颎，敬重牛弘，厚待薛道衡，蔑视苏威。其余的权贵，大多都会被他欺凌刁难。要论才艺风调，杨素要优于高颎；但若是要比推诚体国，处物平当，宰相气度，杨素比高颎差得多。
593年隋文帝命令杨素监造仁寿宫，杨素为了讨好隋文帝，“夷山堙谷以立宫殿，崇台累榭”，此外为尽快完工，“督役严急，作者多死，宫侧时闻鬼哭之声”，最终一座富丽堂皇，极尽奢华的宫殿呈现在隋文帝的面前。但隋文帝认为太过奢华，非常不满，杨素十分聪明，通过独孤皇后，最终让隋文帝认可了杨素的功绩。
599年隋文帝得到奏报，得知突厥意图内犯，于是决定先发制人，派遣四路大军大军出师，其中杨素为灵州道行军总管，从灵州出发。以前与游牧民族交战的时 候，通常采用战车、骑兵和步兵相互交叉配合的阵法，并在阵外四周遍设鹿角、蒺藜等物，骑兵在最里面，以防止对方起兵的冲突。
杨素对众人言道，“此乃自固之 道，非取胜之方也。”，于是抛弃这种落后的战法，命人布置骑兵战阵。突厥的达头可汗闻之大喜道：“此天赐我也！”，并下马仰天拜谢，随即率十余万精骑直扑隋军。杨素率军奋击，大破突厥骑兵，达头可汗身受重创，狼狈逃走，手下死伤不可胜数，群虏号哭而去。
杨素用兵随机应变，总能把握战机，但驭军严整，有犯军令者立斩，从不宽恕。每次作战前都会寻找士兵的过失，然后杀之。多者百余人，少则十几人。“流血盈前”，而杨素却谈笑自若。两军对阵时，杨素先令一二百人前去迎敌，若取胜就罢了，如不胜而败逃者，无论多少，全部处斩。
然后再令二三百人迎敌，如不胜则照杀不误。所以杨素的部下对他极其敬畏，作战时皆抱必死之心，所以战无不胜。但杨素对有功之人“微功必录”，所以杨素虽严厉凶狠，但由于他恩威并施，所以将 士都愿意随其征战。
600年突厥的步迦可汗率兵进犯隋边，隋文帝命杨素隋晋王杨广出兵抵抗。杨广极为对杨素皆为尊敬，从此两人开始勾结在一起。