回师之后，宋太宗将监军王侁削职为民，发配金州，而对潘美只是贬官三级。第二年潘美就被恢复了原来的官职，因为它有“后台”。991年67岁的潘美病死。之所以对潘美的惩罚不重，是因为潘美的第八女（有一种说是他的孙女）嫁给了宋太宗的第三子赵恒（后来的宋真宗），和皇帝成了亲家。此外小说中潘仁美的儿子都是以龙虎豹命名的，而现实中潘美有很多儿子，如潘惟德、潘惟固、潘惟正、潘惟清、潘惟熙，都担任的是一些中级的侍从官。
回归正题，对于杨业之死，潘美确实负有一定的责任，作为三军统帅，他不能当机立断，出于私心，不能做出正确的决策，又违背约定带军先行撤退。但其实细细观察，在这背后隐藏着的两个问题：一是当时的体制上的弊端，用不懂军事的文人监军扰乱正常的指挥系统；其二宋太宗为了掩饰北伐的失败，不顾实际情况，要求带领百姓撤退，延误了最佳撤退时间。
在以后杨家将的故事在民间开时传播，然而演绎过程中，是绝对不敢把皇帝作为抨击对象的。自然需要一个绝对的反面角色作为陪衬，于是潘美就演变成了今日我们所看到的潘“仁”美了。