公元655年，此时的徐茂公已经年过花甲，唐高宗欲废皇后，重新册封武则天为皇后。当时的大臣长孙无忌、褚遂良等人是极力反对的，但是李义、许敬宗等人却又支持，双方互不相让，谏言不一。唐高宗李治无奈，最后找到徐茂公，徐茂公因有功，被赐李姓，为李绩，李绩自然知道高宗为何事而来，但是如果自己表达不好很有可能就会招来杀身之祸。
因此李绩一直表面上支持长孙无忌、褚遂良等人，背地里又支持许敬宗等人，当高宗问及此事，李绩说：“此陛下之家事耳，何必更问外人!”李绩的回答可谓是完美，本就是皇帝家自己的事情，何须由外人来插手。虽说徐茂公并未表明自己的立场，但是无异于是支持高宗，高宗醍醐灌顶，心想“是啊，我家里的事还要你们管什么。”随后便册封武则天为皇后，到这里按理来说，武则天应该是要感激徐茂公的。
然而徐茂公有个孙子叫徐敬业，继承了他的爵位，应该叫李敬业。据说徐茂公在第一眼看到孙子时，深谙相术的他，一眼便看出徐敬业面相不善。甚至还说徐敬业日后必是家族祸患，导致家族被满门灭族，于是想要将其杀害，假装带着人和徐敬业一同打猎。待徐敬业进入森林之后，在外面放火，想要将其烧死。结果徐敬业急中生智，用刀剖开马的肚皮，自己钻进去，这才得以逃生。
事实证明，徐茂公的猜测是对的，徐敬业最终因为反对武则天称帝，不仅自己被杀，还连累家族和祖父徐茂公也被开棺戮尸。徐敬业最终因为反对武则天称帝，发动叛乱，最终被武则天派兵平叛，最后自己也被部下所杀。徐敬业兵败之后，他的弟弟徐敬贞却对武则天说，当年徐敬业出生之时，被子下面突然出现一只龟壳，龟壳的纹路先是是大富大贵之相，如今看来，哪里是大富大贵，简直就是大变之相。
武则天听后，将徐茂公的坟墓挖掘，棺木打开，用火焚烧，这才得以消了怒气。想想徐茂公纵横一生，被世人称为和诸葛亮一样的存在，最后却落得个无处安宁，尸体都没能得到保全，不得不令人嗟叹。