高殷继承大统，李祖娥成了皇太后，高洋的母亲娄昭君成了太皇太后。太皇太后在朝中的势力远大于李祖娥这位皇太后，娄昭君又有高演和高湛几个亲生儿子，高殷的帝位岌岌可危。李祖娥找到朝中几位亲信大臣，商议废掉娄昭君，由李祖娥执政，将高演和高湛调离朝廷以架空二王的权利，然后设法杀掉。消息很快传到了娄昭君那里，娄昭君勃然大怒，“岂能让我们母子受这汉家女人的摆布”。娄昭君迅速采取了行动，高殷被废为济南王，被赶出皇宫，高演成了北齐皇帝。权利面前无亲情，叔叔最终没有放过侄儿，高殷很快遭到了杀害。李祖娥迁居昭信宫。
高演仅仅做了两年皇帝,就在一次狩猎中出了意外，坠马重伤，医治无效，不久就离开了人世。在娄昭君的主持下，高湛继承大统，成为新一任北齐皇帝。高湛册封长广王妃胡氏为皇后，以示恩宠，但是胡皇后的寝宫却是空着的，因为高湛睡在嫂嫂李祖娥的昭信宫里。本来李祖娥鉴于叔嫂名份，极力拒绝高湛的非份要求，但是，高湛一句话就让她放弃了抵抗，“你还想不想让你儿子活命?”，李祖娥只剩下最后一个儿子高绍德，这是她后半生的依靠和指望，没有了儿子，她就没有了一切。李祖娥成了高湛事实上的嫔妃，高湛搂着嫂子这位绝色美人，夜夜春色无边。没多久，李祖娥就怀孕了，肚子一天天膨胀，渐渐行动不便。对于肚子里这个没有名份的孩子，李祖娥既惊且惧。她整日闭门不出，也不许别人踏入昭信宫一步。高绍德思念母亲，上门探望，却被卫兵拦在宫门外。儿子无法体谅母亲的苦衷，站在宫门外大声叫骂，“儿子难道不知道吗，母亲的肚子大了，所以不肯见儿子。”，李祖娥羞愧难当，忍不住泪流满面。
李祖娥和高湛的女儿出世了，史书上记载李祖娥“生女不举”，这个女婴很可能是被李祖娥掐死的。高湛听到了消息，狂怒得像一头狮子，他没想到这个温顺的女人竟敢弄死自己的女儿。他马上叫人把高绍德押到昭信宫来，当着李祖娥的面，声嘶力竭地狂叫，“你敢杀我的女儿，我就杀你的儿子”，当场用刀柄把高绍德活活打死，李祖娥极力阻拦，却救不回儿子的性命。高湛听到李祖娥的哭叫，更加怒火中烧，他扒光李祖娥的衣服，用鞭子狠狠抽打她的裸体，打得她血肉模糊，连声惨叫，昏倒在地。高湛叫人把她装进绢袋，丢进沟渠，绢袋被李祖娥染得鲜血淋漓。过了很久，李祖娥才苏醒过来，此时，她已经万念俱灰。
宫女们为李祖娥敷上药，用牛车把她送出宫去，李祖娥进了妙胜寺出家为尼。过了十几年，北周灭了北齐，李祖娥身在化外，仍然作为北齐皇族的一员被俘虏到北周。后来隋朝建立，李祖娥得以返回家乡赵郡，从此以后，史书上没有了她的记载。