1959年9月30日，国庆节前一天，彭德怀元帅举家从居住了7年的中南海永福堂迁出，搬往了北京西郊颐和园附近的挂甲屯吴家花园。
不久前，在中央军委扩大会议结束后，彭德怀就让妻子浦安修找到了时任中办主任的杨尚昆，让她转告说：“你说我请求找一个能劳动的地方居住，实现我对毛主席的保证：劳动生产，自食其力。”
同时，彭德怀让工作人员把他那身崭新的蔚蓝色元帅服、几身军衣和几枚勋章，一枚珍贵的红星奖章、一支左轮手枪、医保历史资料都上交给了组织。
当杨尚昆把彭德怀的请求告诉毛主席后，毛主席马上同意，指示杨尚昆：找一处好一点的房子，你亲自安排。不久后，杨尚昆就找到了挂甲屯吴家花园。
挂甲屯，据传说，当年杨家将中的杨六郎曾在这里晾晒自己的盔甲，故此得名；吴家花园，据说是明末降将吴三桂当年的修建的一座园林，至于真实性如何，由于年代久远，已不可考。吴家花园的中心，是一座北京有14间屋子的四合院，在彭德怀住进来之前，这里是中央对外联络部的专家招待所。
第二天就是国庆节，但收到邀请参加典礼的彭德怀却没有参加，他一整天都在整理他的书籍和文件。晚上，来到院子里，踩在一张椅子上，向东南方向遥望——那是天安门的方向。瑰丽灿烂的焰火在天空闪耀着，彭德怀看着，心里由衷地感到高兴。共和国10周岁了，这10年来我们的成就是多么伟大啊！
彭德怀决定在吴家花园里当一个学生和农民，当时吴家花园的院子里，有一块大约3分的污水塘，他挽起裤腿跳了进去，和警卫员一起把污水塘里的黑泥挖了出去。农民出身的彭德怀，在离开战场后，干起活来还是一把好手。
10月13日早上，彭德怀接到了毛主席的电话，要他到中南海见面。彭德怀听到消息非常高兴，连早饭都没有吃，就坐着汽车直奔中南海去了。
见面后，毛主席对彭德怀说：你9月的信我读到了，大家觉得你去读几年书是很好的，读书之余还能去工厂和农村调查研究。至于去人民公社参加劳动，你年纪大了，就不要去了。
彭德怀听后说：我同意主席的话。
毛主席问彭德怀，你准备怎么学习？彭德怀回答：我想学一些哲学和政治经济学。我住的地方离党校很近，希望可以在那里学个4年。
毛主席说：这件事由彭真、杨尚昆两位同志安排。但我想，不要学那么长时间，两年就够了。彭德怀表示同意。
谈话结束后，彭德怀对毛主席和中央的关心表示了感谢，之后起身告辞。
几天之后，经过彭真和杨尚昆的安排，彭德怀进入了党校，成了一名特殊的学员。当时党校的校长是杨献珍，副校长是艾思奇。艾思奇是党内著名的哲学家、理论家，杨献珍则是彭德怀的老朋友、老部下，他在40年代担任过北方局秘书长，那时候彭德怀担任过北方局的代理书记。杨献珍给彭老总安排了两名老师，对他进行专门辅导。
在这里，彭德怀每天都把自己的日程安排的满满的，他每天很早起床去锻炼身体，吃完早餐后看一上午的书，下午除了参加学习就是看文件、报纸和杂志，休息散步后，晚上回来接着看书，偶尔也看看电视。读书学习使戎马一生的彭德怀得到了难得的安宁，在读书学习之余，他并没有停止对国家的关心。
从1959年到1965年离开北京到大三线工作，彭德怀在吴家花园一共住了6年的时间。这六年的时间，他一有机会就去挂甲屯村子里走访，他关心群众生活，把自己订的牛奶，组织发的奶粉、白糖、饼干，都分给了生活贫苦的群众。他还出面解决了村子里的水电问题，村里子谁家有了红白之事，他常常会去表达自己的关心和祝福，村里子都说：“彭老头来了以后，挂甲屯有了福。”
这期间，彭德怀的家门口时不时就会出现一袋大米，几条大鱼，是谁留的不知道，但这些都是对彭总无声的关心。