1958年，刘伯承在军委扩大会议上受到批判后，虽然仍担任中共中央军委战略小组组长，但实际已经赋闲了。1966年“运动”爆发后，刘伯承不堪忍受北京城里住所周围造反声浪的干扰，便搬到京郊的西山住了下来。
有一天，陈毅前来看望刘伯承，刘伯承问他：“快讲讲，城里怎么样了？听说国防部大楼也被冲了，这还了得！还有贺胡子，你这几天见到他没有？小平同志的情况怎么样？”
陈毅不想谈这些烦心事，便岔开话题问道：“怎么样，老同乡，最近身体可好？”
刘伯承摇着头，叹息着说：“不行喽，啥子也看不清了。看样子，我这只左眼也快要瞎了。”
“瞎了好。俗话说，眼不见心不烦嘛！”陈毅心里窝火，语气也冲，说完后往沙发上一坐，重叹了一口气。
刘伯承与陈毅心灵相通，他明白挚友的感受，接过话说：“就是我们又瞎又聋了也不成，我们还有一颗热心呀！你还是说说小平同志的情况吧！”
陈毅说：“小平的日子不好过，林彪、江青给他安上了‘资产阶级反动路线’的政治帽子，看样子，凶多吉少。”
刘伯承听后痛心疾首地说：“这怎么得了！这怎么得了！”
1970年的一天晚上，刘伯承正在家里睡觉，突然外面传来了一阵喊杀声，原来是红卫兵来攻打帅府了。刘伯承耳聋听不见，警卫们急了，连忙把他从后门架了出去，连夜坐火车送到了南京军区参谋长肖永银那里。
肖永银是刘伯承的老部下，刘伯承见到他后，难过地说：“唉，我老啦，来这儿，给你们添麻烦了……”
肖永银动了感情：“刘帅啊，你怎么说这种话？那不成了我们是主人，你是客人？你不能工作，我们干就是了！你以前怎样对待我，现在还是怎样对待我，这样我心里舒服！你这么客气，我……不好过！”
刘伯承听了肖永银的话后，感到非常欣慰，他又开始像当年对待老部下那样侃侃而谈起来：“肖永银呐，你当了参谋长，很好。要记住，当参谋长，就要把自己放在影子的地方。我三任总长，一败两罢官。指挥江西几个战役，我从来没有用过我的名字，签朱总司令、毛主席的名字……”
此后肖永银安排刘伯承住在了中山陵5号，而且经常去陪他。肖永银还对刘伯承说：“刘帅，中山陵情况很好，没事，你长期住下来。你爱吃什么，尽管说，由我去搞！”
刘伯承对吃的要求不高，就想吃点斑鸠和镇江的小菜，于是肖永银安排人打斑鸠、买小菜，在他的安排下，刘伯承的日子过得倒也惬意。
有一天，肖永银过来陪刘伯承聊天，刘伯承问他：“你说说，一个排长在打仗时能起多大作用？”
肖永银愣了一会儿，然后按照军事常识回答说：“一个排长嘛，大概就是起一个排长的作用。”
刘伯承听后不再往下说，而是把身子向后一仰，头枕在沙发背上，仿佛假寐了。
肖永银起初并不明白刘伯承的意思，过了一会才想通了。原来当时正值林彪的巅峰期，为了树立“林副统帅的光辉形象”，全国的各种宣传机器，不惜违背历史真实，把“南昌起义”、“井冈山会师”等等光环往林彪头上垒，而南昌起义的组织者之一刘伯承分明记得历史的真相：南昌起义时，林彪是一个排长。一个排长，能起决定作用吗？——刘伯承是在对如日中天的“林副统帅”指天发问呢！
“九一三”事件后，刘伯承回到了北京。1972年1月6日，陈毅不幸去世，噩耗传来，已经80岁的刘伯承精神上遭到了巨大打击，他沉浸在撕心裂肺的悲痛之中。此时刘伯承的左眼已完全失明，但他还是坚持来到医院，用手一寸一寸地抚摸着陈毅的遗体，嘴里一遍遍地呼唤：“陈老总呀，我刘瞎子离不开你这根拐杖呀！”
1973年以后，刘伯承丧失了思维能力，两年后，他又丧失了生活自理能力，只能在病床上度过余生。1975年，邓小平再次被“打倒”后，北京城传出了一个政治消息，无翼而飞，不胫而走，迅速传遍了全国各个角落——刘伯承说：“我死了之后，只要一个人为我主持追悼会，那就是老邓。”
1976年“四人帮”被粉碎后，华国锋前来看望刘伯承，刘伯承又对他说起了自己的遗嘱：“我死后只提一个要求，就是要邓小平主持追悼会，否则决不进八宝山，让我的儿子把我的尸体扔进荒郊野外去算了！”
刘伯承的预言没有落空，人民选择了三起三落的邓小平作为自己的领袖。
1986年10月7日，刘伯承不幸病逝，享年94岁。7天后，中央在京西万寿路解放军总后勤部礼堂前厅举行了刘伯承的遗体告别仪式，这天邓小平率全家最先来到刘伯承的灵堂，向他的遗体深深地三鞠躬，并亲自主持了追悼会。
不久以后，邓小平撰写了《悼伯承》一文，在《人民日报》上发表，他在文中深情地说：“伯承久病，终于不治。我和他长期共事，相知甚深。他的辞世，使我至为悲痛。”