朱元璋看在眼里，决定报答刘伯温。
他在确定处州税粮时，仿照宋制每亩加五合，唯独青田县除外。
而青田县，正是刘伯温的家乡。
朱元璋对自己这个做法，也给出了说法：;要让刘伯温家乡，世代把此事传为美谈。
刘伯温得到朱元璋这么的重视，这显然威胁到了李善长的地位。
李善长不是什么善男信女，所以，他想着收拾刘伯温。
朱元璋巡幸汴梁时，刘伯温与左丞相李善长一起留守京城。
刘伯温认为宋、元两朝都因为过于宽纵而失天下，所以应该整肃纲纪，于是，便下令御史检举弹劾，不要有任何顾忌，宿卫、宦官、侍从中，凡犯有过错的，一律奏明皇太子，依法惩治。
这样一来，人人都畏惧刘伯温的威严。
中书省都事李彬因贪图私利，纵容下属而被治罪。
而这个李彬，正是李善长的人。
李善长一向重用李彬，故请求从宽发落。
刘伯温不听，并派人骑马速报朱元璋。
刘伯温在得到朱元璋批准后，便在祈雨时，将李彬斩首。
因为这件事，刘伯温与李善长成了仇家。
朱元璋返京后，李善长便向朱元璋告状，说刘伯温在坛土遗下杀人，是不敬之举。
那些平时怨恨刘伯温的人也纷纷诬陷刘伯温。
这时，正逢天旱，朱元璋要求诸臣发表意见。
刘伯温上奏说：;士卒亡故者，他们的妻子全部迁往他营居住，共有数万人，致使阴气郁结。工匠死后，腐尸骨骸暴露在外，将投降的吴军将吏都编入军户，便足以协调阴阳之气。
朱元璋采纳了他的意见，但十天过后仍不见雨，故而发怒。
此时的刘伯温，知道朱元璋对自己已经失去了信任感，同时又得罪了这么多的权贵，知道该此致避难了。
此时，又恰好刘伯温的妻子死了，所以，他请求告辞还乡。
朱元璋正在营造中都，又积极准备消灭扩廓。
刘伯温临走上奏说：;凤阳虽是皇上的故乡，但不宜作为建都之地！王保保不可轻视！
不久，定西之役失利，扩廓逃往沙漠，从那时起，一直成为边患。
朱元璋这才知道，离开刘伯温是自己的一大损失，当下亲自下诏，叙说刘伯温征伐之功，召他赴京，赏赐甚厚，追赠刘伯温的祖父、父亲为永嘉郡公，并多次要给刘伯温进爵。
刘伯温都固辞不受。
重新回到朝廷的刘伯温，知道李善长的不可得罪，当下开始包容李善长。
朱元璋因事要责罚丞相李善长，刘伯温劝说道：;他虽有过失，但功劳很大，威望颇高，能调和诸将。
朱元璋觉得奇怪，说：;他三番两次想要加害于你，你还设身处地为他着想？我想改任你为丞相。
刘伯温叩首说道：;这怎么行呢？更换丞相如同更换梁柱，必须用粗壮结实的大木，如用细木，房屋就会立即倒坍。
后来，李善长辞官归居，太祖想任命杨宪为丞相，杨宪平日待刘伯温很好，可刘伯温仍极力反对，说：;杨宪具备当丞相的才能，却没有做丞相的气量。为相之人，须保持像水一样平静的心情，将义理作为权衡事情的标准，而不能搀杂自己的主观意见，杨宪就做不到。
朱元璋又问汪广洋如何，刘伯温回答：;他的气量比杨宪更狭窄。
朱元璋接着问胡惟庸，刘伯温又回答道：;丞相好比驾车的马，我担心他会将马车弄翻。
朱元璋于是说道：;我的丞相，确实只有先生你最合适了。
刘伯温谢绝说：;我太疾恶如仇了，又不耐烦处理繁杂事务，如果勉强承担这一重任，恐怕要辜负皇上委托。天下何患无才，只要皇上留心物色就是了。这几个人确实不适合担任丞相之职。
后来，杨宪、汪广洋、胡惟庸都因事获罪。
刘伯温在朝廷中当官几年，被授为开国翊运守正文臣、资善大夫、上护军，封诚意伯，食禄二百四十石。
他意识到了朱元璋权力不许他人染指下，决定辞官还乡。
他回乡之后，仍然参加元旦早朝。
直到洪武八年，公元1375年的正月下旬，刘伯温感染了风寒。
朱元璋知道了之后，派胡惟庸带了御医去探望。
御医开了药方，刘伯温照单抓药回来煎服用。
他吃下之后，觉得肚子里好像有一些不平整的石块挤压在一起，让他十分痛苦。
二月中，刘伯温抱病觐见朱元璋，婉转的向他禀告胡惟庸带着御医来探病，以及服食御医所开的药之后更加不适的情形。
这时的他，还以为是胡惟庸要害自己。
哪里知道，朱元璋听了之后，只是轻描淡写的说了一些要他宽心