李密败给王世充后，徐世绩将黎阳之地献给了唐朝李渊，因此被赐名为李世绩。其后李世绩为了避李世民的讳，将自己名字改成了李绩。
作为一代战将，李绩可谓是出类拔萃。在李世民看来，李绩是唐朝最会打仗的三人之一。在内战和外战中，李绩都为唐朝立下了汗马功劳，分别消灭了东突厥、薛延陀和高句丽，可谓是功高盖世。因此，李绩被封为英国公，在凌烟阁24功臣中位居23。
为了表彰他的军事才能，李绩被唐玄宗推举为武庙十哲之一，享受万世之香火。然而唐朝灭亡后，李绩武庙十哲的地位却遭到了质疑，有好几次差点和白起一起，被请下了神位。这是因为在很多人看来，李绩的人品实在太差劲了，不配享受香火。
那么在评书里被视为正面人物的李绩，为何被很多人视为不忠不义的代名词呢?《大唐新语》曾记载了这样一段故事。
公元666年，高句丽权臣渊盖苏文病死，他的儿子为了争夺权位而打得不可开交。唐高宗趁此机会，命72岁的老将李绩出兵讨伐高句丽。
临行前，李绩派人给自己女婿杜怀恭送信，让他立即骑着马去军营报到。谁知杜怀恭说，自己家贫，既没有马，也没有盘缠。随后，李绩立即给杜怀恭送了一匹千里马，并让他即可赶到军营。谁知杜怀恭接收了千里马后，竟不顾使者阻拦，夺马而逃。
随后，杜怀恭逃进了岐阳山，李绩也拿他没有办法。对于杜怀恭的行为，很多人表示大惑不解：“你岳父对你那么好，为何还要逃跑?”
杜怀恭回答：“你有所不知，我岳父叫我去军营，哪是为了我好!而是为了在军人面前杀了我，用来立威!”
在很多人看来，杜怀恭是不是得了被迫害妄想症。但是唐人却对此评论：
“英公持法者，杜之怀虑深矣。”
而李绩后来听说杜怀恭逃跑的原因后，也说出了真心话：“此或有之”(我真有可能杀他立威)。
从常理上来说，对于越是亲近的人，就越是能把握其本质。在很多人看来，李绩给女婿送钱、送奴仆、送千里马，简直是国民级的好岳丈。但是仔细一想，又觉得不对劲。
既然李绩那么好，为何杜怀恭为何还那么穷?甚至连去军营的路费都凑不齐?如果李绩真是个好岳父、好父亲，位极人臣，身为英国公的他，又为何能坐视女婿和女儿受穷?由此可见，李绩并不是很喜欢自己的女婿。
如今临近出征了，李绩又是送钱，又是送马，突然?正所谓“事出反常必有妖”，李绩让杜怀恭去军营，绝对别有所图。
而从李绩之前的经历来看，他确实是为了利益而六亲不认的人。李绩在为唐朝防守黎阳时，曾和自己的父亲李盖一起，被窦建德所俘虏。但在李绩看来，窦建德并非可以夺取天下的英主，难以给自己带来富贵。于是他趁窦建德不注意，逃回了唐朝，丝毫不顾他的父亲仍在窦建德的控制之中。如果不是窦建德仁慈，李盖或许早就下油锅了。
在古人看来，忠孝是密不可分的。连孝顺都做不到，何以言忠。向君主而尽忠，而摒弃对父母的孝，是一种反常的、反人性的行为。因此当徐庶母亲被曹操俘虏后，刘备就大度地将徐庶放至曹营。因为刘备相信，在这种情况下，徐庶是不可能向自己效忠的。
因此李绩丢弃父亲，自己逃回唐营的行为，在当时并没有得到赞誉，相反还有很多人说李绩是个伪装忠诚的伪君子，是不值得信任的。而这种不信任，在李世民那里表现得最为明显。
从表面上看，李世民对李绩重用有加。当李绩生了病，李世民甚至剪下自己胡须给他做药引。但当李世民去世前，却一反常态，将李绩贬为叠州刺史。其后李世民对太子李治说：
“你对李绩无恩，所以我才将他外放。若他口吐怨言，便说明他有不臣之心，难以控制，你应当将他立即诛杀;若无怨言，你可即刻将他召回京城，他必对你死心塌地。”
很显然，李世民对于李绩这个狡贼，从没有打自内心里信任过。他看重李绩的才能，但也提防着李绩的野心。为了富贵，李绩连父亲都可以丢下，更何况无亲无故的君主?
不过李绩果然还是老谋深算，得到调令后，他连家都不回，即刻动身。因为他知道，任何迟疑，都可能让他脑袋搬家。
在高宗朝，李绩在“废王立武”问题上，坚决站在武则天一边，导致武氏最后篡权，致使李氏子孙死尸枕藉，大唐差点倾颓。而李绩之所以站队武则天，并非因为他不知道武氏的跋扈。而是在他看来，站队武则天虽然不利于李唐，却利于自己。正如王夫之在《读通鉴论》中评价：
“赞立武氏，人自亡其社稷，己自保其爵禄，恻隐羞恶是非之心。”
同时王夫之还认为，李世绩自始至终都如他自己所说，是个“狡贼”。杜怀恭正是看准了岳丈“利字当头”的狡贼本性，和六亲不认的权谋，所以才坚定地选择逃亡。而这一决定，也让他保住了性命。