随着改革开放开始，中央领导集体的构成有了一定变化。1980年9月，陈永贵辞去了国务院副总理职务。相比于同年卸任的其他几位中央领导干部，其实陈永贵辞职还要晚几个月。在他之前，汪东兴、陈锡联、纪登奎和吴德，都在1980年离开了中央舞台。
与其说是主动辞职，其实在1976年后，这几名干部或多或少有过一些失误，1980年离任在情理之中。但陈永贵的心理压力，也许比上述几人更大：他并未得到明确信号，下一步的任职问题应该如何抉择？直到1980年下半年，陈永贵终于做了决定，他回家后突然对儿子陈明珠说：我看明白了。你来替我写个东西，我自己递上去，再等人找我就不好看了！
陈明珠并不认同父亲的看法，但还是非常尊重陈永贵，按照他的意图写好了辞职信。陈永贵是1975年上任的“农民副总理”，经过学习已经能自己看许多文件，但要写出措辞严谨的辞职报告，还需要借助儿子帮忙。1980年9月，他的辞职申请被组织接受，全国人大上正式公布了这一免职决定。
此前陈永贵能成为中央政治局委员、国务院副总理，主要原因是领导“大寨农业模式”的突出成绩，他是全国学习的模范典型。计划经济时代，陈永贵和大寨被中央寄予厚望，希望能在各地进行复制，带领我国广大农民吃饱饭。1978年十一届三中全会后，经济建设成为中心工作，工农业生产模式也在发生重大转变。大寨模式的一些弊端被媒体报道出来，逐渐不能适应新时代的农业发展需要。
若只是如此，陈永贵作为主管农业的副总理，及时调整思路和工作方法，仍然可以正常干下去：毕竟国家面临转型，改革开放初期，大多数党政干部也都是从旧有模式干过来的，并非只有陈永贵特殊。然而陈永贵非常依赖大寨模式，思想上不能接受这一成绩被否定。中央开会时，陈永贵屡屡提出不同意见，甚至质疑改革开放的国策，这令他站在了许多同志的对立面上，处境比较尴尬。
最关键的是，陈永贵对小平同志有一定的看法。从1977年小平同志复出之前，他便表示过反对；十一届三中全会后，邓公成为党的领导核心，改革开放事业起步，陈永贵却仍坚持旧观点，与小平同志有过几次意见冲突，沟通气氛不是很融洽。陈永贵到北京工作比较晚，几年下来也是有朋友的：华国锋、李先念、纪登奎等人，都跟他私交不错。但随着大寨模式受到的批评越来越多，加上1980年上半年诸多领导干部离任，使他感到“孤立无援”，连一些身边的普通工作人员都换了。陈永贵的思虑越发沉重，工作也不顺利。
他自感“得罪”了人，结局恐怕还不如之前离开中央的干部，因此在心理斗争许久后，1980年下半年终于决定辞职，希望晚年能够回山西大寨务农，过些平淡踏实的日子。不过中央虽接受了陈永贵的辞职申请，却还是把他留在了北京：由于陈永贵的身体状况一般，此时又上了年纪，组织决定维持他的生活条件和待遇，在北京为陈永贵一家安排了住房及后勤服务人员，并帮助解决其子女的就业、上学等问题。
陈永贵对此非常感激，尤其是曾经与他有过分歧的小平同志，完全没有针对他。组织的做法和态度，超出了陈永贵的预期。也正因如此，“闲不住”的陈永贵，又在1983年大大方方地向组织提出申请，希望能安排一些具体的工作来干，发挥余热。考虑到陈老的实际情况，组织批准了这个请求，让陈永贵到京郊当农场顾问。
陈永贵十分开怀，他并不爱做自己不擅长的中枢领导工作，而与农田、农具打交道，才是他晚年的乐趣所在。对于这个工作安排，组织显然是用了心的，很照顾陈永贵。1986年3月，原国务院副总理陈永贵同志患癌辞世。对于新中国的农业发展，他在一定时期内有过显著的贡献。