李德林评价杨坚的相貌：“帝体貌多奇，其面有日月河海，赤龙自通，天角洪大，双上权骨，弯回抱目，口如四字，声若钏鼓，手内有王文，乃受九锡。昊天成命，于是乎在。顾盼闲雅，望之如神，气调精灵，括囊宇宙，威范也可敬，慈爱也可亲，早任公卿，声望自重。”
《资治通鉴》上有一段非常有趣的记载：陈朝至德元年(公元583)十一月，陈后主陈叔宝遣散骑常侍周坟、通直散骑常侍袁彦出使隋。陈叔宝听说隋文帝杨坚状貌异人，便让袁彦画像而归。当陈叔宝看到杨坚的画像后，大骇道：“吾不欲见此人!”立刻命人将画扔了。
杨坚的相貌到底奇异在何处，以致他的死对头陈叔宝看到画像后如此惊惧呢?
根据《隋书》的记载，杨坚“为人龙颔，额上有五柱入顶，目光外射，有文在手曰王，长上短下，沉深严重。”由上面的描述可以看出，杨坚的相貌有五“奇”：一、额头突出，并有五个隆起的部分从额头直插到头顶上;二、下颌很长，而且很突出;三、目光犀利，咄咄逼人;四、掌纹形似“王”字;五、上身长，下身短。
他这个长相，生下来不久就让他的母亲吕氏“大骇”了一回。
吕氏在冯翊(今陕西大荔)般若寺生下杨坚时，“紫气充庭”。这时，有个从河东来的尼姑对吕氏说：“这个孩子不是凡人，不能在凡间养。”于是，尼姑把他抱到庙里一个别院躬自抚养。吕氏有一次抱起小孩，发现小孩头上长角，身上长鳞，又惊又怕，把小孩丢在地上。尼姑进来看到，说：“已经惊到了我的孩子，他要多花些年头才能得到天下。”《隋书》、《北史》隋本纪上都记载说，杨坚在庙里一直长到12岁才回家。
《隋书》中记载：齐王宇文宪对当时的北周皇帝宇文毓说：“杨坚相貌非常，臣每见之，不觉自失。恐非人下，请早除之。”皇帝说：“他不过只能做个将军而已。”内史王轨也对皇帝说：“皇太子非社稷主，杨坚貌有反相。”帝不悦，曰：“必天命有在，将若之何!”杨坚听说这件事后非常害怕，深自晦匿。
宇文毓虽然强为镇静地说“必天命有在，将若之何”之类的话，其实心里也有点害怕，派善于看相的赵昭去为杨坚相相面。赵昭坚信杨坚“当为天下君”，他采取了一个两面派的手法：他一面骗宇文毓说杨坚只是一个“作柱国(官职名)”的材料，另一方面又去巴结杨坚，把真相都告诉了他，并悄悄地对杨坚说：“你一定会当皇帝，而且一定要经过大屠杀才能坐得稳，千万记住我这句话。”原文是：“公当为天下君，必大诛杀而后定，善记鄙言。”
杨坚为了自己这副相貌，付出了不少代价。在襁褓里就差点被自己的母亲摔死;长大之后，又受到同僚的嫉妒和皇帝的猜忌，时刻面临被害的危险。这样也就使他不得不把自己隐藏下来。当然，他是相信自己“当为天下君”。他本是一个颇为迷信的人，又从别人嘴里听到这样的话，对自己的相貌也就信心十足。因为看到杨坚相貌而对他抱有信心的人，不止赵昭一人。在《隋书》中，还有数例可寻。《隋书·庞晃传》中说，杨坚任随州刺史时，路经襄阳，卫王令庞晃拜见杨坚，因为杨坚“相貌非常”而巴结他，向他表忠心，希望他当了皇帝之后，不要忘记自己。而杨坚听后，只是富有深意地笑着说：“不要瞎说呀!”杨坚的心思，在这一“笑”之中昭然若揭了。
赵昭、庞晃，还有郑译、卢贲、窦荣定等人，日后都成为杨坚的亲信和心腹，为他篡夺北周皇位和创立隋朝天下，起了很重要的作用。
只不过杨坚的异相似乎威力不足。中国历史上有几个大统一的短命政权，说开就开，开得光彩四射，灿烂辉煌，可是说完就完，不但快，而且彻底。隋王朝就是其中之一，杨坚辛辛苦苦，努力了一辈子，却不过为唐王朝搭了道桥，而他本人最后也被他亲儿子杨广照肚上一刀，活活捅死，想起来没意思得很。