1959年7月，彭德怀在庐山会上遭受猛烈批判，被撤销国防部长职务，之后与浦安修一同回到了在中南海的住所。
当时，中央还没有正式下发对彭德怀的后续处理指示，但是彭德怀认为自己不可能在中南海住下去了，于是对妻子浦安修说：
“你给中央办公厅的杨尚昆同志打个电话吧，我没有工作了，不适合住在这里，请求中央给我一个能劳动的住处吧。”
说完，彭德怀开始带着身边的工作人员一起收拾家中物品，除了书籍、衣服和随身用品外，其余物件全部被彭德怀上交给了组织。
彭德怀之所以这么做，是不想让自己“玷污”了那些象征荣誉的物品，因此就连一件军装、一枚勋章也没有留下。
几天之后，中央办公厅给出了回复，让彭德怀不要多想，可是彭德怀坚持要离开中南海，于是又亲自给杨尚昆写了一封信。
由于彭德怀态度坚决，中央办公厅最后在西苑找了一处住所，名叫吴家花园，吴佳花园靠近中央党校，方便彭德怀学习。
彭德怀原本还请求换掉所有工作人员，可是毛主席和邓小平却认为没有这个必要，就否决了这一请求。
就这样，在建国十周年纪念日前夕，彭德怀怀着复杂的心情，从中南海碰到了吴家花园，过上了劳动和学习生活。
初到吴家花园时，彭德怀接到了参加建国十周年庆典的通知，通知是警卫参谋景希珍传达的，彭德怀听后摆手说：
“我就不参加庆典了，当下这个情况，我去了以后，和许多人碰面，该说些什么呢？我现在是反‘反党’分子……”
说完，彭德怀开始埋头整理书籍和文件，安顿好一切后，彭德怀又走到屋外，仔细观察一下吴家花园的院内格局。
国庆节当天，彭德怀带着妻子浦安修在吴家花园外散步，在看到远处天空中的烟花时，彭德怀内心五味杂陈。
烟花散去之后，彭德怀将生活的重心转入了劳动中，他像个普通农民一样在院内翻土、挖沟，还打算弄个鱼塘，种一些果树。
妻子浦安修和侄女彭梅魁见状，不由得感到一阵心酸，彭德怀为了安慰两人，就指着一旁的小水塘说：
“好好改造一下它，让它以后为我们好好服务。”
彭德怀的这番话看似是在说水塘，实则是在隐喻自己，浦安修和彭梅魁心照不宣，就配合彭德怀出谋划策。
说干就干，彭德怀卷起裤腿，走进水塘之中，弯腰抓起一把淤泥，然后放在鼻子前嗅了嗅，直呼泥土的气息真好。
彭德怀以这样的生活状态，在吴家花园忙碌了12天，到第13天时，毛主席打来了电话，约彭德怀到中南海一叙。
毛主席主导这次会面，其实是希望彭德怀能当面检讨自己的错误，只要彭德怀认错，就可以回到中央工作。
两人交谈期间，毛主席罕见地使用了“分手”这个词，并询问彭德怀有没有想过这个问题，彭德怀倔强地表示：
“分手还是不分手，那是你的问题，不需要问我。”
在随后的中央政治局会议上，毛主席让大家共同讨论彭德怀今后工作的问题，彭德怀依旧没有作出认错的表态，一切就此尘埃落定。