朱元璋常常对手下的大臣们说这样的一句话：“刘伯温就是朕身边的张子房啊”，虽然老朱口口声声的以张子房比喻刘伯温，但在老朱的心底对这个第一谋士是怀疑大于信任。出身淮右布衣的老朱并不是那么的喜欢读书人，他也觉得这些才高八斗的饱学之士看不起自己这个泥腿子皇帝。在这些人中他觉得刘伯温就是个代表人物。猜忌心极重的老朱是绝不会让刘伯温身居高位的，但也绝不会让他离开自己的眼皮底下(他怕这样一个能人再为他人所用而谋反)。从至正二十年(1360年)被朱元璋请到金陵做谋士，一直到洪武三年(1370年)的十年间，刘伯温也看透了老朱这个皇帝的真面目。
他一方面辅佐朱元璋完成帝业、开创明朝并尽力保持国家的安定。另一方面竭力掩饰自己以做到宠辱不惊，免得遭到杀身之祸。朱元璋是一个乡土观念很重的人，李善长是他的老乡，他的天下也是淮西的众将给他打下来的，而刘伯温却不属于淮西集团，他不仅不是淮西一党，反而在立国之初担任御史中丞时严厉打击违法乱纪的淮西一党(立国之时所封公、侯、伯爵大多是跟随老朱打天下的淮西人)，这当然引起以左丞相李善长为首的淮西一党的强烈不满，人人皆欲杀之而后快。在这种情况下不被老朱杀掉以安抚淮西诸将就已经不错了，能封个伯爵已是侥幸。
洪武四年，老朱赐刘伯温归乡养老(但在地方官员的严密监视之下，其所有日常生活均由当地官员写成奏折一日一奏)。洪武八年(1375年)正月，刘伯温患病，老朱命胡惟庸(胡对刘伯温恨之入骨)带御医为其诊治。四月下旬即死于故里，享年六十五岁。在之后的胡惟庸被诛时，其罪状之一就是下慢毒毒害刘伯温。颇具讽刺意味的是，立国之初所封的六公二十八侯在之后的日子里几乎被老朱杀绝，封爵全部废除，只有汤和得以善终。而刘伯温的诚意伯的爵位却一直传到了1646年(南明隆武二年)。