徐世绩是山东菏泽人，后来举家迁往河南，徐家在当时是大户人家，所以徐世绩和那些因为家贫而造反的人不一样，他真是为天下苍生着想。隋朝末年，很多百姓流离失所，身为大户的徐家经常周济百姓，但凡遇到穷苦的人，徐世绩和他的父亲就一定会帮助，因此在当地名声很大，受到了乡亲们的爱戴。
后来天下大乱，各地都有义军起兵反抗隋朝，而徐世绩当时还是一个年轻人，怀着一腔热血就地参加了瓦岗寨义军。当时瓦岗的首领还是翟让，徐世绩为了乡亲们不被骚扰，就时常劝说翟让不要在家乡劫掠，翟让深以为然，所以瓦岗的军队当地很受欢迎，很快就发展成为了一股不可小觑的实力。
后来隋军来攻打瓦岗，徐世绩为翟让出谋划策，多次击退官军，因此翟让事事都以徐世绩马首是瞻。就在这个时候，李密反叛隋朝，徐茂公就劝说翟让让位给李密，这样就可以收买人心，使得瓦岗可以更加的兴盛，经过一段时间的考虑，翟让同意了徐世绩的建议，让位给了李密。
后来瓦岗寨内乱，李密和翟让火并，徐世绩因为冒死保护李密受了伤，因此得到了李密的重视。而以前翟让的手下，都被李密分给了徐世绩和单雄信等人，从此徐世绩就成为了李密的心腹。
后来被王世充击败，不得已投降了李唐，而徐世绩虽然心中很不乐意，但是没有办法。虽然归顺了李唐，但是徐世绩还认李密为领袖，处处为他着想，但是当时李渊还不信任李密，只是将他封为魏国公，而实际上的权利都交给了徐世绩掌管。徐世绩为了李密着想，就将原属于瓦岗的土地编造成册，他自己不上报，交给李密让他上报，这样就让李渊解除了对李密的猜忌。
这件事被李世民之后以后，就觉得徐世绩是个忠心的人，十分看重他。后来李密去世，原先的手下为了避嫌都不敢去吊唁，只有徐世绩在请示了李渊之后，一个人前往李密的坟前吊唁，并且跪在坟前痛哭，这件事之后，李世民更加的觉得徐世绩是个值得重用的人，于是将他招揽，成为自己的手下。玄武门之变后，徐世绩因为建国拥立有功，被封为英国公，位列凌烟阁。
相传当年单雄信和李唐有仇，不愿意归顺，被击败之后，李渊要处死他，徐世绩苦苦哀求，希望可以保单雄信，但是单雄信宁死也不归顺，李渊就执意要处死他。没有办法的徐茂公，只能来到单雄信身边，将自己大腿上的一块肉割下来，交给单雄信，这就表示自己和他同生共死的意思。单雄信死后，徐世绩就将他的孩子们抚养成人。
后来李世民将他比较长城，可见徐世绩的重要性，后来李治登基，徐世绩有坚持拥护李治立武则天为后，所以在李治和武则天时期，徐世绩都安然无恙，只可惜后来他的儿子起兵造反，兵败被杀，武则天一怒之下，追削徐世绩等人的官爵，并将其坟墓挖开，徐世绩死后落得了个开馆戮尸的下场。