灭陈之后，贺若弼地位更加显贵，他的兄弟全都出任刺史、列将。“弼家珍玩不可胜计，婢妾曳绮罗者数百，时人荣之”完成父亲遗愿，志得意满之际的贺若弼开始得意忘形，认为满朝文武中自己的功劳最大，常以宰相自许。592年杨素出任宰相，贺若弼心理异常不平衡，口出怨言，因而被免官，被他不吸取教训，反而愈加猖狂。
几年后隋文帝将贺若弼下狱，责问他说：“我任命高颎、杨素为宰相，你却总是放言，说这两个人只是酒囊饭袋，这是什么意思？”贺若弼答道：“颎，臣之故人，素，臣之舅子，臣并知其为人，诚有此语。”公卿认为贺若弼怨愤，奏请处以死刑。隋文帝考虑到他的功劳，免他一死，除名为民。
不久后，隋文帝又恢复了他的爵位，但不再予以重用。一次，突厥使者来朝拜，隋文帝让他射箭，使者一发即中，隋文帝说：“除了贺若弼，这里没有人能比的过他”。于是命贺若弼射箭，果然也是一发即中，隋文帝非常高兴，对突厥使者说：“此人天赐我也！”
杨广还是太子的时候，一次与贺若弼谈论当时的名将。杨广问道：“杨素、韩擒、史万岁三人，俱称良将，优劣如何？”贺若弼回答：“杨素是猛将，非谋将；韩擒是斗将，非领将；史万岁是骑将，非大将”杨广又问：“然则大将谁也？”贺若弼拜着说道：“唯殿下所择。”言外之意，当下的大将唯有自己一人。
贺若弼就是这样的自负，口不择言。607年8月隋炀帝巡幸到榆林一带，建造了一个可以容纳上千人的帐篷。贺若弼认为太过奢华，与高颎、宇文弼等人私议得失。不料被人告发，最终杨广以他诽谤朝政为由，将贺若弼与高颎、宇文弼等人一起诛杀，时年64岁。最终他还是没有记住父亲临刑前的教诲
南宋文人徐钧曾作诗，感叹贺若弼的结局，“乃翁永诀语堪悲，果定江南副所期。守口未能终死舌，如何忘却刺锥时。”