1965年9月21日，彭德怀给毛主席写去一封信，请求允许自己到农村生活。毛主席看过信后，于两天后的早上7点半，让秘书给彭德怀打电话，约他8点半到颐年堂谈话。彭德怀知晓毛主席的作息——通宵工作上午睡觉，便提议自己晚上去合适点，秘书说：“叫你上午就来吧。”
彭德怀乘车前往，提前十五分钟到颐年堂，并远远看到在门口等候的毛主席。远远见到彭德怀，毛主席就伸出准备握的手，两人互相打量了一番，毛主席说：“几年不见，你显老了。”彼时彭德怀67岁，双鬓已经斑白了。
彭德怀笑了笑：“我是无事不登三宝殿。”其实恰好这时毛主席也有事找彭德怀，他想彭去大西南，主持大三线工作，准备可能到来的战争。毛主席对彭德怀做出许诺：“将来还可带点兵去打仗，以便恢复名誉。”
彭德怀婉言拒绝：“搞工业我是外行，完全无知，政治上也不好做工作。”毛主席跟彭真等人一起劝说，彭还是态度坚决地说不去，就想去边疆搞搞农业。
最后是毛主席说：“彭德怀同志去西南区，如果有人不同意，要他同我来谈。我过去反对他是积极的，现在支持他也是衷心诚意的。”这几句话打动了彭德怀，他逐渐动摇。
这场谈话持续了五个半小时，毛主席是工作一夜后，没有休息，没吃早饭。最后在一起共进午餐后，这场谈话宣告结束。在告别时，毛主席突然抛出的一句话，让彭德怀的内心再次蒙上了阴影。毛主席问，你在游泳池畔跟我说要斗胡服，恐怕是参加了高饶联盟吧。
彭德怀回到家后，想起来还是很不解。其实这也就解释了，两人为什么最终还是没有和解，或者说毛主席不愿单方面和解，老人家觉得他跟高一样，“里通外国”、“想夺权”。
至于彭德怀跟高岗的关系，确实是有段时间很好，即抗美援朝前后，也主要是抗美援朝前后。彭德怀指挥志愿军在朝鲜半岛作战，高岗是负责志愿军后勤的主事人，两人打了不少交道，交道打得也不错——要不然也打不好仗。
1951年10月，志愿军入朝作战一周年之际，朝鲜方面决定授予彭德怀一级国旗勋章，被彭推脱：“这勋章授给我不合适，第一应该授给高麻子（即高岗）。”后来听闻高岗死讯，彭德怀还第一时间去看其遗体。
不过对高岗的一些观点，彭德怀实在不敢苟同。一天高岗上门，说有些同志给斯大林元帅的印象很不好，都影响到两国正常交往了。彭德怀很奇怪，不由问道指的哪些同志。高岗没有直接点名，而是讲起前段时间自己去苏联，斯大林是如何跟自己说对周和刘不太满意的。
彭德怀认为高岗讲的话不中听得很，但还是控制怒火，尽量用平缓的语气阻止他再讲：“无论斯大林怎么想，只要人民满意就行。”
后来阴谋大白天下，彭德怀在相关会议上，没有对自己跟高岗的关系避而不谈，相反主动承认自己在这上面犯有错误，没有及时划清界限和揭发，并对自身错误进行严格的自我定性，还说之所以这样的首要因素就是自身“马列主义水平低，嗅觉不高”。