公元前177年，汉文帝带着窦皇后、慎夫人乘辇同往上林苑游幸，晚上在上林苑举行盛宴。由于慎夫人是汉文帝的宠妾，在宫中常与皇后平起平坐，上林郎官按照惯例，把慎夫人的座位也安排在与皇后对等的上席。中郎将袁盎见到，令内侍把慎夫人的座位撤至下席，慎夫人大怒，不肯入下席就坐。汉文帝也怒气冲天，拉着慎夫人乘辇回宫。这次上林之行，乘兴而来，败兴而归。
袁盎是刚正不阿的直臣，他乘文帝稍息怒气，便进谏说：“臣闻尊卑有序则上下和。今陛下既已立后，慎夫人乃妾，妾主岂可与同坐哉!适所以失尊卑矣。且陛下幸之。即厚赐之。陛下所以为慎夫人，适所以祸之。陛下独不见‘人彘’二字乎?”(《史记·袁盎传》)汉文帝一听“人彘”二字，则心惊胆跳。他把袁盎的话告诉慎夫人，慎夫人也息怒，并赐给袁盎金五十斤。
又有一次，汉文帝偕慎夫人乘辇出宫游幸，在霸陵桥上远眺。文帝指着新丰驿道，对慎夫人说;“此走邯郸道也。”(《史记·张释之传》)意思说从这里走去，就可以到慎夫人家乡。慎夫人动起思乡之情，汉文帝令慎夫人鼓瑟，汉文帝引吭高歌凄婉哀恻。
历史上慎夫人的死和电视剧中是不一样的，历史上关于慎夫人的死有两种说法：第一种是她在汉 文帝之前已经病逝，随葬文帝霸陵。第二种是汉文帝在驾崩前留下遗诏，将宫中曾经宠幸的女人放 出宫，让他们回家与家人团聚。慎夫人就包括在内，由于慎夫人无子，因而按照汉朝的惯例，必须 老死宫闱。汉文帝不想让她们如此凄凉，因而将她们放回家，与父母团聚重聚天伦。