洪武八年（1375年）正月下旬,刘基感染了风寒,朱元璋知道了之后,派胡惟庸带了御医去探望.御医开了药方,他照单抓药回来煎服用,觉得肚子里好像有一些不平整的石块挤压在一起,让他十分痛苦.
二月中,刘基抱病觐见朱元璋,婉转的向他禀告胡惟庸带着御医来探病,以及服食御医所开的药之后更加不适的情形.朱元璋听了之后,只是轻描淡写的说了一些要他宽心养病的安慰话,这使刘基相当的心寒.三月下旬,已经无法自由活动的刘伯温,由刘琏陪伴,在朱元璋的特遣人员的护送下,自京师动身返乡.回家后,拒绝亲人和乡里为他找来的一切药石,只是尽可能的维持正常的饮食.
几天之后,刘基自知来日无多,找来两个儿子交代后事.交代完后事时,又让刘琏从书房拿来一本天文书,对他说：“我死后你要立刻将这本书呈给皇上,一点都不耽误；从此以后不要让我们刘家的子孙学习这门学问.”又对次子刘璟说：“为政的要领在宽柔与刚猛循环相济.如今朝廷最必须做的,是在位者尽量修养道德,法律则应该尽量简要.平日在位者若能以身做则,以道德感化群众,效果一定比刑罚要好,影响也比较深远,一旦部属或百姓犯错,也较能以仁厚的胸怀为对方设身处地的着想,所裁定的刑罚也必定能够达到公平服人,和警惕人改过自新的目的；而法律若能尽量简要,让人民容易懂也容易遵守,便可以避免人民动辄得咎无所适从,又可以建立政府的公信力和仁德的优良形象,如此一来,上天便会更加佑我朝永命万年.”又继续说道：“本来我想写一篇详细的遗表,向皇上贡献我最后的心意与所学,但胡惟庸还在,写了也是枉然.不过,等胡惟庸败了,皇上必定会想起我,会向你们询问我临终的遗言,那时你们再将我这番话向皇上密奏吧!”最后于农历四月十六卒于故里,享年六十五岁.六月,葬于乡中夏中之原.
