然而，尽管刘伯温主动放弃名利，整天只喝酒下棋，从不提到自己当年的功劳，却还是没能避免被加害的命运。洪武八年(1375)三月，刘伯温因感染风寒在家中病逝，享年六十五岁，而实际上，真正导致他去世的很可能是胡惟庸探病时让御医开的药。那么，当时刘伯温明明已经辞官归隐，为何胡惟庸却还是要执意将其害死呢?
首先，我们可以看到《明史》当中对此事的记载，书中写道："御史中丞刘基亦尝言其短。久之基病，帝遣惟庸挟医视，遂以毒中之。基死，益无所忌。"也就是说，刘伯温在担任御史中丞时曾经指出过胡惟庸的缺点，而这点在书中另一处也有所体现。
当时，朱元璋想要新立丞相，便询问刘伯温是否能够重用胡惟庸，对此，后者回答："譬之驾，惧其偾辕也"，此话的意思是说，丞相就如同驾车的马，而如果让胡惟庸来担任这一角色，他可能会害得马车倾覆。
交代完此事，刘伯温便回到家乡闲居，数年后，朱元璋听说他感染风寒，于是派胡惟庸带着御医一起前去探视。就是趁着这个机会，胡惟庸得以暗中给刘伯温下毒，加速他的离世。对于刘伯温死后胡惟庸的心理状态，史书形容是"益无所忌"。也就是说，刘伯温在世时胡惟庸虽然已经开始嚣张跋扈，却还是心存不安的，这可能一方面是担心刘伯温继续向朱元璋指出自己的毛病，甚至揭露自己的行动;另一方面是担心朱元璋会在自己犯错时果断召回刘伯温取代自己。
从上文中史书的片段来看，胡惟庸不依不饶要害死刘伯温的理由大概有两个：一是刘伯温曾经批评他，这可能导致其怀恨在心，想要报复;二是刘伯温即使归隐山林，却还是在朱元璋心中有着很高的地位，所以如果不将其除掉，自己的地位就始终无法得到巩固。
除此之外，其实朱元璋在刘伯温生病后的举动也十分令人怀疑——他明知道胡惟庸和刘伯温关系不睦，却还是派其前去探视，主动为其提供了下手的机会。
诚然，当时胡惟庸是丞相，让他前去可以表示朝廷对于刘伯温的重视和关心，但这不得不让人想起朱元璋对开国功臣们的无情清理，让人难免怀疑刘伯温之死是朱元璋授意胡惟庸去做的。
据说，刘伯温在服下胡惟庸提供的药后"有物积腹中如拳石"，为此，他还曾上书向朱元璋表示自己吃药后身体的异样，但后者却不以为然，只让他好好养病。朱元璋敷衍的态度和之前他对刘伯温的尊敬形成了鲜明的对比，让人不免觉得有些反常。
不过，从刘伯温死前嘱咐儿子刘琏向朱元璋呈上《天文书》，并表示自己本想写一封奏疏给朱元璋，但因为胡惟庸还当权所以放弃的举动来看，他对朱元璋还是抱有敬意和忠诚的，这似乎又说明了他的死与朱元璋关系不大。
还有一个值得注意的点，那就是朱元璋当年因李善长犯错而要责罚他，但刘伯温却以其劳苦功高，且能够调和将领之间的关系为由劝阻。对此，朱元璋惊讶地问道："是数欲害君，君乃为之地耶?"
可见，李善长曾经多次想要加害于刘伯温，他们之间的关系堪称恶劣。我们知道，胡惟庸是靠着李善长的提拔和推荐才当上丞相的，他们二人有着十分明显的利益共同体关系，这也是胡惟庸倒台后朱元璋诛杀李善长的原因。
那么，李善长和胡惟庸结为朋党，而刘伯温作为李善长多次想要加害的敌人，自然也就成了胡惟庸的敌人。那么，胡惟庸自发，或是在李善长授意下加害刘伯温就是顺理成章的事情了。总的来说，刘伯温虽然归隐山林，但在朱元璋心中和朝野内外仍然有着很高的威信。
因此，他始终能够给胡惟庸等人带来巨大的威胁，而这，或许就是后者不愿意放过他的最大理由。