不过，皇帝身边从来不缺女人，武则天自己是女人，她身边就不会缺男人。薛怀义日益骄横，终于惹得武则天不快，慢慢移爱到另一个男宠。
为了重夺武则天的欢心，薛怀义下大功夫盖了一座明堂，挖了一个大坑在里面放上佛像，然后用布幔盖住准备给武则天一个惊喜。可是，等薛怀义揭开布幔的时候，武则天表现平平，根本不在意。这让薛怀义恼羞成怒，一把火烧了明堂。
那明堂花无数金钱精力盖成，被薛怀义这样一把火烧掉，武则天心中恼怒异常，终于下决心除掉薛怀义。
火烧明堂半个月后，薛怀义莫名其妙地死去。至于死因，则有多种说法，有人说是武则天直接赐死，有人说是太平公主率人闷棍打死。不过，不管怎么死法，他从此无法再享受武则天的万千宠爱了。
清代历史学家赵翼点评说：“薛怀义入侍床笫，宠冠一时，至命为行军大总管，率十八将军击默啜，以宰相李昭德、苏味道为其长史司马，可谓爱之极矣。”
历史上传奇的和尚很多，薛怀义可算是传奇的传奇。