隆化元年(576)冬天，平阳城已被北周武帝的军队团团包围，告急的文书像雪片似的飞来。消息传来时，高纬正在陪冯小怜在晋阳（太原）附近打措，为了不扫美人的雅兴，他置军情于不顾，依然优哉游哉地围猎，直到小怜心满意足了，平阳也已经陷落了。
后来在冯小怜的怂恿下，高纬又带着她御驾亲征，一切行军进程都要符合小怜的生活作息习惯。北齐大军压城，加上皇帝亲征，士气大振，本来很快就可以一举夺回平阳。眼看着北周守将渐渐不敌，北齐马上可以趁机攻入、收复失地的时候，高纬突然传令停止攻城，原因是冯小怜要出来观战，但还未梳妆打扮好。等到冯小怜收拾停当，北周的守兵已经修好了坍塌的城墙缺口。
这时候，冯小怜看着天色已晚，便对高纬说： “天色已晚，若是现在攻城的话就什么也看不清了，还是等明天白天再攻吧。”于是白白给了北周一个喘息休整的机会。等到第二天，天降大雪，冯小怜又要求等天气好了之后再攻城。于是，本来一场收复失地的战争，却变成了一场供冯小怜取乐的闹剧。等到北周武帝亲率大军前来驰援，一切都晚了。
失去平阳之后，高纬便带着冯小怜逃回了晋阳。晋阳城是北齐的政治中心，城中粮谷器械充裕，是一座易守难攻的重镇。于是，高纬打定了主意死守晋阳，逼北周军队撤离。这本来是个上上之策，可是冯小怜却哭闹着要离开晋阳，回到邺城。在这关键时刻，高纬依然听从了冯小怜的无理要求，趁夜带领少数宠臣从五龙门斩关而出，逃往邺城。
无奈之下，北齐将士只好拥戴安德王高延宗即位来应对危机。高延宗杀死留在晋阳的那些高纬的宠臣内侍，将王府中的珍宝美女尽数赏赐给将士，并亲自执手慰问士卒，鼓舞士气。北齐军队士气大振，上下一心，大败北周军队。取胜之后，北齐士兵欣喜若狂，涌入街坊之中喝酒庆祝，没想到北周武帝却重新集结军队，趁他们放松之际攻破了晋阳。
晋阳虽破，高纬在邺城还有精兵十万，尚可与北周的八万军队决一胜负。可是，高纬早已经被北周军队吓破了胆，竟然将皇帝的位子禅让给太子商恒，以此来逃避责任。最终，邺城也被北周军队顺利攻下，高纬再次带着冯小怜仓皇出逃。这次，没跑多远，高纬一行就被周军擒获了，北齐至此灭亡。
亡国之后，高纬和冯小怜都被俘押往北周的都城长安。高纬被封为温国公，惊魂甫定，他便向北周武帝提出自己唯一的愿望，便是“乞还小怜”。
之后，高纬因为被人诬陷造反，连同宗室诸王百余口人尽数被赐死。而他一生宠爱的冯小怜也被周武帝赏赐给了他的弟弟代王宇文达。这个宇文达最后也难敌小怜的魅惑，做了她的裙下之臣。可是好景不长，宇文达被篡位的杨坚杀死，小怜再次易主，被送给了字文达妻子李氏的亲哥哥李询。这下冤家路窄，小怜当年被宇文达宠幸，让李氏受尽了冷落，如今来到李家，自然备受折磨。李询的母亲为了给女儿报仇，让小怜荆钗布裙，每日和下人一样舂米、劈柴，稍有不满即鞭打叱责。冯小怜金玉之质，哪里经得起如此折磨，很快便香消玉殒了。
唐代李商隐有感于高纬与小怜的爱情悲欢和北齐的兴亡，曾写下两首咏史诗，讽刺高纬因宠幸冯淑妃而亡国的史实，其中一句是“小怜玉体横陈夜，已报周师入晋阳。”其实，北齐的灭亡与否岂是一个冯小怜能够左右的？北齐历代皇帝无不好色残暴，昏庸无能，即便是没有冯小怜，北齐被北周所灭，也是早晚的事情。