在传统的侠义小说中，潘仁美是个大奸臣，与之相对的「杨家将」则是一门忠烈，被潘仁美害死多人。两姓自古结下仇怨，甚至还有「潘杨永不结亲」的说法。文学作品往往依托于现实，那么潘仁美在现实中又是一个什么样的人呢?真的残害忠良，十恶不赦吗?
「杨家将」的故事讲述了杨家名将杨业、杨延昭等人保家卫国的感人事迹，这一门忠烈令辽兵闻风丧胆，对大宋朝可谓居功至伟。怎奈奸臣当道，潘仁美大奸大佞，杨家将遭到严重迫害。辽国皇帝约请太宗，赴金沙滩 「双龙会」，其中暗藏杀机，兵困行宫。刀光血影中，大郎、二郎和三郎战死，四郎和五郎失踪，七郎被潘仁美万箭射死。
这个故事发生在北宋初年，至中叶时已传遍天下，并衍生出更多以潘、杨二人为主角的故事。潘仁美的奸佞形象在人们心中已根深蒂固，但实际上他的原型「潘美」与故事中的人物还是有些出入的。潘美生于后汉年间，年轻时风流倜傥，又有建功立业之志，恰逢柴荣任开封府尹，潘美便当了柴荣的侍从。
到柴荣即帝位后，建立后周，是为周世宗，补任潘美为供奉官。高平之战，潘美因为战功迁为西上阁门副使。柴荣去世后，七岁的周恭帝柴宗训即位，时政不稳。传闻契丹联合北汉南下攻周，宰相范质等未辨真伪，急遣赵匡胤统率诸军北上御敌。不料赵匡胤却托言兵少将寡，不能出战。范质只得委赵匡胤最高军权，可以调动全国兵马。
周军行至陈桥驿，赵匡胤和赵普等密谋策划，发动兵变，众将以黄袍加在赵匡胤身上，拥立他为皇帝，潘美就是其中一人。赵匡胤对潘美待遇很优厚，潘美也没让赵匡胤失望，先是随他亲征平定后周将领李重进叛乱，又是击败南汉后主刘鋹几次侵犯，还追剿了从唐朝开始就成为祸患的一些少数民族，并加以抚慰，少数民族地区才安定下来。
宋太祖开宝三年，宋朝下令征伐南汉，任命潘美为行营诸军都部署。军队进克富州，刘鋹派来援军，潘美佯退设伏，大败南汉援军万余，攻克贺州。继而转兵攻韶州，击败南汉军主力10余万。次年二月，与南汉军6万对峙于广州城西。潘美派人于夜间烧南汉军营栅，率军乘火势进攻，大胜。不到半年，攻灭南汉。
开宝七年，皇帝计划征伐南唐。潘美为升州道行营都监，与曹彬一起出发，进驻秦淮，潘美率部击败江宁城下的10万南唐大军。南唐后主李煜紧急求和，赵匡胤却没有答应。李煜连夜派部队攻击宋军，潘美率精锐军队与其短兵相接，趁机与曹彬率领军队黎明攻城，平定南唐，后因战功被封为宣徽北院使。
雍熙三年，宋辽岐沟关之战中，潘美任西路军主将，杨业为副将，率军连下寰、朔县、云、应等州(今山西雁北一带)。七月，辽军主力反击宋西路军。陈家谷口(今山西陈家沟)一战，潘美与监军王侁未接受杨业的作战方案，迫令其出战;当杨业失利时，又未予以接应，致使杨业被俘，绝食而死。遂被后世编排，留下万年骂名。