1959年8月，彭德怀在庐山会议上受到批判，他被免去了国防部长的职务。彭德怀回到北京后，从中南海搬了出来，迁居北京西郊的吴家花园。
为了获得第一手资料，彭德怀亲自耕种了一分地的小麦试验田，尽管他精心管理，却只收获了90多斤小麦。彭德怀忍不住骂娘：“什么亩产万斤、几万斤，乱弹琴！就算我功夫不够到家，再多产一千斤，亩产两千斤，就顶天了！”
1961年9月，彭德怀第二次回到故乡调研，他看到乡亲们饿得骨瘦如柴，流下了辛酸的泪水。彭德怀回京后，凭着一个共产党员的责任感，他给中央提交了一份9万字的农村专题报告。
1962年1月，中共中央在北京召开“七千人大会”，总结1958年“大跃进”以来的经验教训。毛泽东在会上作了自我批评，他说：“凡是中央的错误，直接的归我负责，间接的我也有份，因为我是中央主席。”毛泽东还说，要对在“反右倾”中被批判处分错了的党员和干部甄别平反，向他们赔礼道歉。
彭德怀向中央请了假，没有出席此次会议，当他听说毛泽东的这番话后，非常激动，认为自己平反有望了，他心想：毛主席如此英明睿智、胸怀博大，不愧为党的伟大领袖！
但在不久以后，大会下发《在扩大的中央工作会议上的报告》，报告里说：“所有人都可以平反，唯彭德怀同志不能平反。”
彭德怀看到报告后非常生气，他决定上书中央为自己申诉。从1962年春天开始，彭德怀伏案数月，于6月中旬完成了一封长达8.2万字的信，并在6月16日送到了中央办公厅。
毛泽东看了彭德怀的这封信后，非常不快，8月5日，他在武汉同华东、中南两大区负责人谈话时说：“我对彭德怀这个人比较清楚，不能给彭德怀平反。”
8月22日，彭德怀又给毛泽东写了一封信，信中说：
请求主席和中央组织专案审查，处理我这一莫须有的罪名。如果查有确实证据，愿受党纪和国家法律制裁，哪怕是处以死刑和开除党籍，都是不会有怨恨的……我带着苦闷的、沉重的心情，再次请求对我所犯的错误进行全面的审查，做出正确的处理，泣伏呈辞，恳希鉴察。
但彭德怀并没有得到他所希望的 “谅解”和 “鉴察”，这些信反而成了他“翻案”的新罪证。1974年11月29日，彭德怀不幸病逝，享年76岁。
彭德怀去世后，聂荣臻首先提出要为他平反。1975年5月7日，邓颖超来到聂荣臻家里看望他，聂荣臻对邓颖超说：
彭老总已经逝世，他有很大的战功，为人刚直。一位共和国的元帅，红卫兵把他从四川押回北京时，在火车上就遭受到残酷折磨，竟被打断了几根肋骨，令人非常气愤。请你转报恩来同志，建议为彭老总平反昭雪。
但在当时的形势下，为彭德怀平反昭雪还不可能做到。1976年10月，“四人帮”被粉碎以后，党内外各种冤案的平反工作终于有了条件，此时陈云挺身而出，说了这么一段话：
由于毛泽东的神化地位，由于人们知道他的话是不能拂逆的圣旨，对彭德怀事件是这样明显不公平的事，是谁也碰不得、讲不得的，谁讲话谁就倒霉。
邓小平也积极响应说：“大家知道，有一种议论，叫做‘两个凡是’，不是很出名吗？凡是毛泽东同志圈阅的文件都不能动，凡是毛泽东同志做过的，说过的都不能动。这是不是叫高举毛泽东思想的旗帜呢？不是！凡是过去搞错了的东西，统统应该改正。”
在邓小平、陈云等人的推动下，党的十一届三中全会结束后，中央正式决定为彭德怀平反。不久以后，胡耀邦在中央党校谈及中共中央工作会议时，说起了为彭德怀平反的曲折经过：“这次中央会议解决了一大批遗留问题，共有十几个，比如解决了彭老总问题，陶铸同志问题。我们不搞什么繁琐哲学，开会的时候，许多同志向我建议，说你那个组织部，彭老总要平反，开一个追悼会吧！”
1978年12月24日，彭德怀的追悼大会在人民大会堂隆重召开，追悼会由叶剑英主持，邓小平在会上含泪致了悼词：
彭德怀同志是我党的优秀党员、老一辈无产阶级革命家，是我们党、国家和军队的杰出领导人。
彭德怀同志在近半个世纪的革命斗争中，南征北战，历尽艰险，为中国革命战争的胜利，为人民军队的成长壮大，为保卫和建设社会主义祖国，做出了卓越贡献……
彭德怀的追悼会结束后，他的骨灰被安放在八宝山革命公墓殡仪馆第一室。从此以后，彭德怀与他的老战友朱德、贺龙、陈毅元帅一起，长眠于八宝山。