很多人知道吕文德，大抵是通过金庸先生的《射雕英雄传》和《神雕侠侣》，在这两部作品中吕文德的形象很不堪，在《射雕英雄传》中，郭靖黄蓉第一次见到安抚使吕文德的时候，吕文德正拥了姬妾，高坐饮酒为乐，看到郭黄二人吓得面无人色，吓了一跳，浑身发抖这些表现连续不断，金庸借郭靖之感想这么评价他：
见他统兵方面，身寄御敌卫土的重任，却是如此脓包，心中暗暗叹息。
后来在郭靖带领军民御敌之时，吕文德这般胆怯的，不是钻在桌底大念“救苦救难高皇经”，就是藏在被窝中瑟瑟发抖。
到了《神雕侠侣》之中，几十年过去了，吕文德还是一个屌样：
安抚使吕文德瞧着这等声势，眼见守御不住，心中大怯，面如土色的奔到郭靖的身前，叫道：“郭……郭大侠，守不住啦，咱……咱们出城南退罢!”郭靖厉声道：“安抚使何出此言?襄阳在，咱们人在，襄阳亡，咱们人亡!”
黄蓉眼见事急，吕文德退兵之令只要一说出口，军心动摇，襄阳立破，提剑上前，喝道：“你要是再说一声弃城退兵，我先在你身上刺三个透明窟窿!”吕文德左右的亲兵上前拦阻，黄蓉横腿扫去，四名亲兵一齐摔跌开去。
且先不说吕文德的是非功过，他这人的范儿完全不是金老笔下的那样。
历史上吕文德的出场就豪迈异常，气势夺人。
吕文德本是个老百姓，有一次去城里卖柴，把鞋子拉在道旁，南宋名将赵葵偶然看到了他的鞋子，一看之下好家伙，这鞋足有一尺长，有路人告诉赵葵这是安丰军的一个卖柴人，赵葵就派专人去寻访他。
赵葵的人找到吕文德家里的时候，吕文德打猎去了，傍晚，吕文德带着打猎的收获一头老虎一头鹿回到家中，吕文德留赵葵的差人住了一宿，第二天就一起去见了赵葵，赵葵特别欣赏魁梧勇悍的吕文德，便将他留在帐前——吕文德就这样从一个兼职樵夫猎户变身成为士兵，开始了他的军旅生涯。
长度足有一尺的鞋、打猎背回一头老虎，这是什么?先不论武功高下，这分明是萧峰的气度风范好不好，再不济也比得上阿骨打。
再看金老笔下的吕文德，被不经意间赋予了南宋怂货官员的刻板印象并与郭大侠对照，其实与实情相去千里。
吕文德加入赵葵麾下的时间，一般认为是1230年代，确切说是宋理宗绍定六年(1233)，当时赵葵正任淮东制置使，正好在吕文德的家乡这一带。
成吉思汗死于1227年，所以，《射雕英雄传》结束的时候，吕文德甚至还没有入伍，要到之后的嘉熙元年(1237)时他才被擢为池州都统制，当时的吕文德根本不可能当上所谓的襄阳安抚使。
吕文德参军后以边功起家，他作战的对象主要就是蒙古军。
吕文德的军事生涯大致可以分成四个阶段，他最初可能跟随赵葵参与端平入洛的战斗，后来先后在池州、安丰军(治所在今安徽省寿县)、仪真(今安徽省扬州市)、濠州(今安徽省凤阳县)、五河(今安徽省蚌埠市五河县)、泗州(故城遗址在今江苏省盱眙县境)等江淮一带抗击蒙军。
宝祐二年(1254)七月，理宗下诏“以湖北安抚、知峡州吕文德总统江陵、汉阳、归、峡、襄、郢军马事，暂置司公安，上下应援”，次年七月，“以吕文德知鄂州，节制鼎、澧、辰、沅、靖五州”。吕文德的主战场从江淮转移到西南，在播州(今贵州省遵义市)等地筑城防守，防止蒙古战略包抄南宋。
开庆元年(1259)三月吕文德被任命为保康军节度使、四川制置副使兼知重庆府，在四川方面独当一面，有力支持了使得蒙哥折戟的合川保卫战。
开庆元年九月，忽必烈猛攻鄂州(今湖北省武汉市)，吕文德又从重庆赴援鄂州，吕文德军进入鄂州加强了城防，使得鄂州坚不可摧。两个月后，忽必烈因与阿里不哥争夺汗位北撤，鄂州之围遂解。朝廷下诏说：
吕文德援蜀之赏未足酬功，今援鄂之勋尤为显著，特赐百万，良田万顷。
吕文德达到了他戎马生涯的顶峰，此后他一直担任京湖制置使，率军驻防京湖一线，可以说这时起，他才和襄阳有比较密切的关系，这其实已经在《射雕英雄传》提到的时间的30年之后。
吕文德的风评不佳，和几个因素有关：第一是他个人犯过一些包括私开榷场等战略错误，助长了蒙古军的威风;第二吕文德及其家族的腐败导致吕氏一族富可敌国而其军队“军无宿储，万口藉藉，愤吕掊克”;第三他谄媚贾似道，与贾似道之间有暗中的彼此扶持和勾结;第四包括他弟弟吕文焕、儿子吕师夔、女婿范文虎等吕家军将领后来降元了。
但是，纵观吕文德的一生，行伍出身 ，身经百战，在几个抗蒙第一线担任方面大帅，创造了一系列辉煌的战绩，是南宋抗蒙无可争议的中流砥柱，他的死因也是因为自己犯的一些战略错误深感愧疚而去世，算得上是一个全始全终的南宋名将和英雄。
他在武侠小说中的形象是被严重丑化了，有必要辩诬雪冤、拨乱反正。