杨坚、独孤氏一共生有5个儿子,长子杨勇身为太子,任过大将军大司马、上柱国等显赫职务,并和父亲一起处理军国政事。杨坚对这个皇位接班人显然很器重,有时甚至有着偏爱,常常亲昵地呼叫他的小名。太子参政提议的重大意见多被采纳，杨坚曾在大众场合下向群臣夸耀自己没有妾姬,五子同母绝不会发生像前朝君王妻妾成群而最终诸子废立纷争之事。
然而,恰恰是太子杨勇自己掀起了波澜的起缘，从而最终走向了被废黜的道路。大概在开皇十年(590年)以前,杨勇就已开始寻猎女色,太子居住的东宫内有许多美貌女子,并按皇太子妃嫔姬妾不同身份,依次排列良娣、良媛、昭训等名分。据正史记录,杨勇先后宠爱过高良娣、王良娣、成姬和其他宫女,生有10个儿子,还不算女儿。杨勇的长子杨俨,就是他与太氏(后封昭训)在宫外私恋的结晶,隋文帝一直怀疑这不是杨勇的亲生骨肉,指责儿子扰乱宗族高贵的血统。杨勇却不以为然，公开顶撞父皇干涉自己私生活过多。
后来杨勇又喜爱另一昭训云氏,使她礼同正嫡妻子。开皇十一年(591年),太子法定正妻元妃在长期受冷落后突然患心疾暴死,这位元妃是北朝鲜卑高门名家的后代。隋文帝和独孤皇后夫妇怀疑是杨勇把她毒死的,曾严厉地责备杨勇,可儿子满不在乎,声称还要杀死元妃的父亲元孝炬。隋文帝认为这是太子想害自己而迁怒于元妃，因而在东宫文思殿为儿媳妇举行了隆重的哀悼葬礼,有意做给儿子看。杨勇极为不满,反而扬言:“阿孃(娘)不给我个好女人,真是可恨。”狂言母后周围的女侍将来全是他的猎物。
天下不疼爱自己子女的父母很少，杨坚夫妻毕竟还是护儿子的。尤其杨勇是他们没做皇帝前布衣所生,又为长子只要听话改错就好,所以没有深追此事。可是那位云昭训自此猖獗太子东宫,这使独孤皇后心中不平。这绝不是一般的婆媳争斗,它导致了一场太子更换、影响深远的历史结局。
7年后的冬至,整个长安充满了庆祝气氛,民间在此日更易新衣、备办饮食、享祀祖先;宫廷内皇帝则接受百官朝贺,盛饰礼仪,俗称“排冬仗”。可是这年冬至不知谁出的主意,让朝廷百官都去朝见太子,杨勇居然也大张旗鼓地接受朝见。隋文帝知道后,认为“朝太子是“贺”,如此违背礼制,无疑包含着夺权之意，因此迅速下发《停百官朝贡东宫诏》,从此内心定了废黜之意。
独孤皇后这时更感到她对太子的信任与偏爱是一种历史错误。尽管她曾在宫内每晚督促儿子们诵佛读经,希望他们清心寡欲、俭朴诚恳,结果却完全相反。除了次子杨广外,几乎没有一个成器的。
开皇十九年(599年),镇守扬州的杨广回京朝见父母,独孤皇后见他车马朴素、待人有礼,愈发疼爱,泪水不禁满面,向儿子倾诉衷肠:“睍地伐(杨勇小名)极其厌烦我,专宠阿云毒害元家女,我还不能过问。我活着尚且如此，我死后你们还不被他鱼肉。每想到东宫继承之事,你父皇千秋万岁之后,你们兄弟要向阿云朝拜行礼,这是多么大的痛苦啊!”独孤皇后说完，悲不自胜。杨广呜咽不止,母子俩相对哽咽很长时间。据后来那些正统史学家分析这次母子会面是一个很关键的转机,独孤皇后决心不惜一切代价要扶持杨广,而杨广看到兄长被疏远的良机,也决心加快策划他哥哥垮台的阴谋。
隋文帝曾派遣有才华的裴政和刘行本先后担任太子老师,希望他们匡正约束儿子,但都被杨勇排挤调离。隋文帝57岁后，对杨勇猜忌戒备日趋严重，父子之间互相侦察,杨坚认为自己在仁寿宫是大小事情都有密探飞报太子，因而一度极为害怕杨勇谋害他，夜间甚至不敢脱衣睡觉。这一切或许都与他晚年的自危感有关系,京城与州县都遍布他派出的暗探,太子东宫警卫也用他自己的禁军调换,处处怀疑和严防太子形成死党。在这种不祥征兆下,太子杨勇被废储另立,已是不可避免的事了。