1975年1月中旬，四届人大第一次会议在北京召开，也就是在这次会议上，陈永贵当选为国务院副总理。
时隔多年之后，陈永贵谈及自己当年这段经历时，并没有太多的感触：
“我当副总理，自己思想上真是没有准备，可开会时一鼓掌就通过了。”
有人说陈永贵是文盲，其实不完全是，陈永贵自己虽然没怎么念过书，但是也认识几个字，特别是后来当选国务院副总理后，因为要看文件，必须要学习文化，但陈永贵并没有系统学习知识的机会，因此算是个“半文盲”。
陈永贵一开始很不适应这样的生活，后来还向毛主席请示，每年三分之一的时间留在北京工作，三分之一时间在大寨，三分之一时间到全国各地视察工作。毛主席后来同意了他的请求。
陈永贵能够跻身这个位置，也是那个特殊时代造成的。
事实上，陈永贵不光是国务院副总理，还是第九届中央委员第十、十一届中央政治局委员，第三至五届全国人大代表。
1978年3月，五届人大第一次会议上，陈永贵再次当选国务院副总理。
一直到1980年9月，五届人大第三次会议上接受了陈永贵的辞呈，陈永贵这才被解除了国务院副总理的职务。
一
陈永贵任国务院副总理时，虽然不习惯当时的工作和生活，但他是有自己的政治主张的，特别是他在大寨从事农业生产时的经验。
应该指出的是，大寨经验绝对不能算是错。
陈永贵其实不明白，再好、再成功的经验也要用科学的眼光来看待。
事实上，党中央领导人后来在谈到这个问题时，也都一分为二的看待，李先念认为，不应该把大寨高调，邓小平也告诉胡耀邦，报纸上要注意说辞：
“你再骂，没人搞农田基本建设了。”
陈永贵卸任国务院副总理后，就定居在北京，组织上把他和家属的户口迁到了北京，每月还给他发200元生活费。在离开工作岗位以后，一下子清闲下来，反而是有些不适应，他开始每天看报纸，看文件。
不过，当时社会各界对陈永贵的批评比较多，陈永贵心里一时间无法接受，还拿着报纸找李先念，后来出于考虑他身体健康，李先念不许工作人员给他再送文件。
陈永贵闲下来以后，主动向中央申请工作，后来上级特意批示：
“派陈永贵到北京的东郊农场担任顾问。”（1983年）
有了专业对口的工作，陈永贵也乐得清闲。
不过有一点特殊的地方，陈永贵虽然把家里人的户口迁来北京，但也仅仅只是局限于他和他老伴儿，小儿子陈明亮因为那年还在念小学，出于照顾也迁来北京，其余子女还是老家户口，按照陈永贵的话说就是：
“子女不能沾父辈儿的光。”
事实上陈永贵虽然一度身居高位，但他的子女并不算是沾了大光，陈家的儿女对这位父亲，一开始也是以埋怨居多，后来才慢慢的理解了父亲。
二
陈永贵慢慢熟悉了城市人的生活，一如寻常的老人一般。
值得一提的是，陈永贵最初仍然住在组织上给他安排的四合院里，但后来他表示：
“既然已经退下来了，不能继续再住公家的房子。”
陈永贵后来搬离了四合院，住进了干部公寓
从早上五点起床，和老伴一起做好儿子和孙子的早饭，然后步行从12层楼下来，到附近散步锻炼身体，回到家后就伏在桌上看书报，看累了就到阳台上，侍弄他种的花草玉米。
偶尔有些时候，陈永贵坐在板凳上抽烟，回想起往事，也不禁一阵唏嘘。
陈永贵锻炼身体，一开始是学别人打太极，但打来打去，也不觉得有什么好，后来干脆自创了一套“庄稼拳”，还自豪的跟人说：
“还是我这庄稼拳打得好。”
陈永贵年纪虽然已经不小，但平素身体一直很好，所以后来突然患病，大家都没往坏处想。
1985年初的时候，陈永贵就感觉自己有些头痛，而且浑身乏力，但那时他认为是感冒了，还吃了几天感冒药，只是一直也没有好。
陈永贵身体不舒服，可表面上还看不出来端倪，大家都觉得他没什么问题。
事实上，陈永贵自己已经感觉到，这次问题可能不小。
不久之后，因为病情加重，儿子陪着陈永贵到医院检查，这才发现他已经患了肺癌，已经是晚期了。
当时，医生没敢把实际诊断结果告诉陈永贵，只是告诉了他的家人，但他还是从医生遮遮掩掩的态度看出了端倪，家里人也有些慌，还安慰他说能治好，陈永贵听了也只是摇头：
“周总理得的也是这病，不也还是治不好！”
陈永贵住院期间，华国锋曾亲自到医院探望，两位老友之间有很多说不完的话。
到最后，陈永贵说：
“人是注定要死的，我没有给毛主席丢脸。我作为一个农民，成为党中央的政治局委员，谁能想到呢？我敢说，我是前无古人，后无来者的一个农民。”
三
1986年腊月二十八，陈永贵在医院待不住了，执意要求回家，在征得医生允许后，家人把他带回家。也许是意识到了老人剩下的日子不多了，家里的子女都来到了北京，陪老人过了一个团圆、热闹的年。
除夕之日，陈永贵精神特别好，不顾病痛坚持要在厨房张罗饭菜。
因为第二天是陈永贵的生日，家里人提出想给他过个生日，但陈永贵没同意：
“过什么生日哩，第二天就是大年初一，全国人民都在为我过生日。”
陈永贵很努力的不扫大家的兴致，小儿子闹着要放炮，家里人担心他的身体，因此不同意，是陈永贵坚持要放，吃饭的时候，陈永贵很努力的吃了五个饺子，但大家都劝，说“六六大顺”，陈永贵强撑着病体，又努力吃了一个，还破天荒的喝了半杯红葡萄酒。
春节联欢晚会播了一半，陈永贵酒困了，妻子宋玉林劝：
“要不把电视关了吧。”
陈永贵摆摆手：
“别关、别关，让孩子们看吧，看个个够！”
陈永贵半眯着眼，强撑着精神，感受家里人给他带去的团圆的喜悦。
很遗憾，这也是陈永贵过的最后一个年。
年关一过，陈永贵便病情加重住院。
1986年3月26日晚20时35分，陈永贵病逝于北京医院，享年72岁。
陈永贵生前曾留有遗嘱：
“不要办葬礼，也不要邀请别人来吊唁，把我的骨灰送回大寨就行。”
后来陈永贵的遗体告别仪式在八宝山举行，现场果然很冷清。
原山西文联主席马烽因为当年写大寨的文章，没少同陈永贵打交道，虽然不算很熟悉，但彼此也有交情，在听说陈永贵去世后，他也觉得无论如何，也应该去看一看。
马烽回忆当年出席陈永贵遗体告别仪式时，仍然有很深的感触：
“那天下午我请了假，匆匆赶到了八宝山殡仪馆。小车开到追悼会大厅门口，只见门外冷冷清清空无一人。我以为是把时间看错了，再看讣告，时间、地点都没错。后来司机同志说后院还有几个小厅，也可能在那里。当我们把车开那里时，我发现大寨的贾承让等一些干部都坐在台阶上抽烟。”
马烽后来遗憾的表示：
“当我带着沉重的心情走出追悼会大厅的时候，我突然想到应该带一瓶汾酒来，洒在他的遗体前。我和他是二十年前在一起喝酒相识的，也应当以酒告别。可惜我事先没想到，深感遗憾。”
这时候人们注意到，一辆高级轿车缓缓停在了告别室门口，下来了一个戴着变色眼镜、穿着风衣的人，马烽立马就认出，这是华国锋。
事实上，当时在场的人都注意到了华国锋的到来，于是有些散漫的遗体告别仪式现场顿时庄重起来，大家自觉的站在华国锋身边，跟着他一起走进了打听。
华国锋没说一句话，进去以后走到陈永贵的遗体边，深深地鞠了三个躬，但他没有离开，而是站直了身子，呆呆地望着陈永贵的遗体，不自觉的留下了眼泪。
在与陈永贵亲属握手后，华国锋离开了现场。
根据陈永贵生前的嘱咐，他的骨灰被送回老家昔阳安葬，当车开到山西与河北交界的娘子关时，昔阳县的领导人已经在那里等候。等到车开进昔阳，凡是听说消息的百姓都围了过来，围得水泄不通。
当看见陈永贵的儿子捧着骨灰走下车时，在场的不少人放声大哭。