李世民父子夺去了大隋江山，作为战利品，李世民又把杨广的女儿纳入后宫，那杨妃身上虽有皇家的血脉，却很低调，毕竟是亡国之君的后人，她的一举一动都被文武大臣审视，这也使得杨妃很痛苦。
史书中对其的记载只有7个字“恪母，隋炀帝女也。”可见杨妃虽然名义上为隋炀帝女，看似出身高贵，然而连生母为谁、排行第几、封号为何都不知晓，杨妃也没有公主封号，说明没有受过正式册封——隋炀帝登基后便去了洛阳，即使是册立太子也不过是下诏遣使回长安，更不用说还会特意记得要去册封一个留在长安的公主了。
也由此可知杨妃的生母身份较低，且并不得宠，只是一名普通后宫。
虽然如此，杨妃早年也是天之骄女，史籍中形容杨淑妃“贵盛无比”，不过大隋朝灭亡之后，便成了亡国之囚徒，在一人得道鸡犬升天的社会里，杨妃也被压到命运的底层，尽管她为李世民生下两个儿子，尤其是吴王李恪，“天地之精华，万物之灵长”，当长孙皇后病逝后，杨妃也一度得到唐太宗的宠爱，甚至一度想立她为后，她谦恭，美貌，有公主天然的仪态，更有一个出色的儿子——吴王恪，可惜因为她是大隋的公主，有着前朝皇帝的血统，一直未能如愿。
杨妃美貌，又为人谦恭，当然处处受人排挤，不仅是女子入宫见妒，更是血统惹的祸，毕竟当时长孙无忌拥有很大的权力，为了让自己的外甥长孙皇后的儿子顺利继承王位，一定会打击排斥其他女人生的孩子。
下面再看杨妃在后宫中的封号，唐朝贞观年间的四夫人封号以贵淑德贤为序，韦贵妃的封号是非常明确的，另有一位生育了十三皇子李福的杨贵妃，贵妃的封号是死后追封，可见其生前也是正一品的妃位，很有可能封号便是淑妃，而燕德妃是由贤妃升为德妃的，原因是阴妃之子李祐谋反被诛，阴妃也由此被降为了嫔，还有一位郑贤妃，是燕贤妃升为德妃后随之晋位的，所以杨妃生前并无妃位，不过是死后才被追封为“妃”，提升了品级。
杨妃不受宠，也波及自己的两个儿子，唐太宗贞观年间别的皇子都是都督，唯独李恪、李愔两人是刺史;别的皇子都是实封800户，唯独李恪与李愔一个被削户600一个被削户400，想来杨妃要是得宠的话，如何会在史书上仅留下7个字的记载，她的两个儿子又怎么会在唐太宗诸子中待遇如此之差?
有人说杨妃就是齐王李元吉的妻子，其实这并不对，当时有两个杨妃，在野史茶余里，这个杨姓女子，既身为国破家亡的前朝公主，又本是李世民的弟妹，齐王元吉的妃子，在国仇家恨之间、顶着乱伦的骂名，与唐太宗轰轰烈烈地爱了一场。
但在历史上，两位杨妃确实是独立成个体的一个“大杨妃”，一个“小杨妃”，前一个是隋炀帝的公主，被封为淑妃，而另一个杨妃因为曾经属于齐王元吉，我们习惯称她为“齐王妃。
高宗李治继位后，失去了太宗庇佑的杨淑妃母子，在处心积虑的长孙无忌面前无处可逃，最终恪被牵扯进高阳公主谋反的案件里，以莫须有罪名赐死，“长孙无忌既辅立高宗，深所忌嫉。永徽中，会房遗爱谋反，遂因事诛恪，以绝望，海内冤之。”如果一个人的死亡，可以绝天下之望，他的卓越实在令人无法想象，既然自己的亲外甥面对这样一个卓越的对手，那么长孙无忌只能将其判处死刑。
吴王恪死后，他的弟弟蜀王也被黜为庶人，徙居巴州，死后的爵位才被起复，而他们的母亲杨淑妃，从此在史官的笔下失去踪迹。