在对外关系方面，首先是对付北面的突厥。突厥原来是中亚地区的游牧民族，后来向东迁移，活动在蒙古草原一带。早在北齐和北周时期，变常骚扰内地。在杨坚执政北周时，和突厥和亲，尽力搞好双方关系。但在杨坚建立隋朝之后，突厥却加紧了南下的侵扰，但被隋军打败。
为了更好地防御突厥势力的侵扰，杨坚曾经三次修长城，巩固北边的防御线。到后来，突厥分裂成了两部分：东突厥和西突厥。东突厥因为无法和隋朝抗衡，渐渐地采取了和缓政策，直到接受了隋朝的领导。西突厥则逐渐向西发展，对隋朝没有了威胁。
北面安定之后，杨坚开始对付南方的割据势力。首先是灭掉了后梁。后梁原来就依附于北周，杨坚开始也进行笼络，等势力壮大后，就邀请后梁的皇帝萧琮到长安，其实是软禁，然后派兵占领了后梁国。
当时占据江南的是喜欢酒色的后主陈叔宝。在公元588年的秋天，杨坚派兵五十万，东到海边，西到四川，在长江沿线向陈发动了全面进攻。而陈的兵力总共不过十万，而且上下没有积极地备战，只是沉于酒色之中。结果当隋军抓到陈叔宝时，前线的急报还没有打开看过。
陈叔宝到了隋朝，受到杨坚的礼遇，但杨坚很爱节俭，陈叔宝却建议杨坚造宫殿。有一次，陈叔宝应约赴宴，又向杨坚建议修宫殿，以示文治武功。杨坚表面上没有说什么，等陈叔宝走远了，就对群臣说，他就是因为贪图享受才落到今天这个地步，现在又来劝我学他那样。
隋继承北周的疆域，灭陈以前，统治地域包括长江以北的全部地区。隋初，南方存在两个政权，一是建都于江陵(今湖北荆州)的后梁，一是陈。后梁民少国弱，本来就是附属北周的傀儡政权。587年，隋废后梁皇帝，后梁亡。隋灭陈以后，又拥有江南广大地区。隋朝极盛时期的疆域，东西9300里，南北近15000里，东南临海，西至今天的新疆，北至今天内蒙古杭锦后旗西。