1375年(洪武八年)，刘基虽然不良于行，仍然和所有在京官员一样，参加元旦的早朝，随后在奉天殿做了一首《乙卯岁早朝》，这虽属于歌功颁德的应酬文字，但诗中仍可以看见刘基的心情。据说正月中旬，宋濂的门人刘刚来到刘基的住处，商请刘伯温将宋濂一百多卷的作品，择取精华部分编辑成书，以便诵读，也请刘基为新书写一篇序文。他毫不犹豫地答应了。正月下旬，刘基感染了风寒，朱元璋知道了之后，派胡惟庸带了御医去探望。御医开了药方，他照单抓药回来煎服用，觉得肚子里好像有一些不平整的石块挤压在一起，让他十分痛苦。
二月中，刘基抱病觐见朱元璋，婉转的向他禀告胡惟庸带着御医来探病，以及服食御医所开的药之后更加不适的情形。朱元璋听了之后，只是轻描淡写的说了一些要他宽心养病的安慰话，这使刘基相当的心寒。三月下旬，已经无法自由活动的刘伯温，由刘琏陪伴，在朱元璋的特遣人员的护送下，自京师动身返乡。回家后，拒绝亲人和乡里为他找来的一切药石，只是尽可能的维持正常的饮食。
几天之后，刘基自知来日无多，找来两个儿子交代后事。交代完后事时，又让刘琏从书房拿来一本天文书，对他说：“我死后你要立刻将这本书呈给皇上，一点都不耽误;从此以后不要让我们刘家的子孙学习这门学问。”又对次子刘璟说：“为政的要领在宽柔与刚猛循环相济。如今朝廷最必须做的，是在位者尽量修养道德，法律则应该尽量简要。平日在位者若能以身做则，以道德感化群众，效果一定比刑罚要好，影响也比较深远，一旦部属或百姓犯错，也较能以仁厚的胸怀为对方设身处地的着想，所裁定的刑罚也必定能够达到公平服人，和警惕人改过自新的目的;而法律若能尽量简要，让人民容易懂也容易遵守，便可以避免人民动辄得咎无所适从，又可以建立政府的公信力和仁德的优良形象，如此一来，上天便会更加佑我朝永命万年。”
又继续说道：“本来我想写一篇详细的遗表，向皇上贡献我最后的心意与所学，但胡惟庸还在，写了也是枉然。不过，等胡惟庸败了，皇上必定会想起我，会向你们询问我临终的遗言，那时你们再将我这番话向皇上密奏吧!”最后于农历四月十六卒于故里，享年六十五岁。六月，葬于乡中夏中之原。
1513年(明武宗正德八年)，朝廷赠他为太师，谥号文成。1531年(明世宗嘉靖十年)，因刑部郎中李瑜的建言，朝廷再度讨论刘基的功绩，并决议刘伯温应该和徐达等开国功臣一样，配享太庙。