在昌邑县最南端，有一个碧波荡漾的人造湖、山东第一大水库天，峡山水库。水库的西北角有一座巍峨陡峻的高山峡山。因其山形南缓北陡，似向西北倾斜，故此当地群众俗称斜山。斜山顶上原来建有一座刘伯温庙，半山腰里有两个一间屋大小的天然石洞，叫做刘伯温洞。传说明朝开国功臣刘伯温，曾在这里避难隐修达三年之久。因此昌邑民间素有“刘伯温不离斜山”的传说。说起来，里面还有个发人深思的真实历史故事呢！
原来朱元璋起兵打天下时，文靠刘伯温、李善长出谋划策，武靠徐达、常遇春冲锋陷阵，尤其是对料事如神的军师刘伯温更是言听计以，亲信无比。因此，他能在群雄纷争的元朝末年，灭元驱鞑，力削群雄，统一中原大片领士，建立了大明王朝。论功绩，论才于，刘伯温都是全朝第一。因此在朱元璋登基称帝后的洪武三年冬月大封功臣的时候，要封他作当朝一品左丞相。不料刘伯温却坚辞不受，非要告老还乡不可！朱元璋深知他的脾气，觉得反正基业已定，有没有他亦无关大局，也就顺水推舟，同意了他的要求。
临走，满朝文武都来送行，都舍不得刘伯温离开。尤其是右丞相徐达，在漫长的战争岁月中与刘伯温配合默契，交往甚厚，实在舍不得他走。亲自步送了一程又一程，别情依依，离泪浙淅，实在不忍分手！最后不得不离别时，刘伯温说：“徐兄，庆功楼上，寸步莫离帝身！切记！切记！”徐达问他为什么，他说：
“只能与帝打天下，不能与帝享天下。到时候你就明白了！”再也不说原委。徐达点头记下。
果然，就在这年腊月，朱元璋在庆功楼上大摆御酒，宴请功臣。徐达想起刘伯温的临别嘱咐，自上楼起，就一直跟在朱元璋的身边。朱元璋亲自把盏，一一给众功臣敬过酒后，给左丞相李善长使了个眼色，推说朝中有事，就与李一起下楼去了。徐达一看皇上要走，推说要去小解，也跟着下楼来了。结果他们下楼不久，就有人撤去楼梯，并从下边点着了火。结果凡在庆功楼饮酒的大小功臣，全被大火烧死了（据说还在御酒里加了蒙药）。唯有李善长、徐达幸免。
这事只有李善长、胡惟庸知道底细，因为这是他们献的毒计。对于徐达为什么也跟着下楼，朱元璋和李善长都很纳闷。
后来，徐达无意中露出幸亏刘伯温临走一句话救了他，才使他们大吃一惊！因为胡惟庸早就怀有“谋反称帝”的野心，他们想的、做的，无一能瞒得刘伯温的眼睛，因此对他非常嫉恨！为了早日除掉他，他利用李善长，汪广洋等人对刘伯温的嫉妒心理，经常在皇上面前给刘伯温进谗言，干方百计地想害死他，以实现其篡权称帝的狼子野心。这也是刘伯温辞官不做告老还乡的主要原因。
