1971年9月，随着政治形势的变化，尽管还处于监禁，但罗瑞卿已经敏锐地察觉到了外部的变化。果然，不出所料，1971年11月和1974年1月，罗瑞卿和郝治平先后被解除监禁。
1973年11月24日，经毛主席批准，罗瑞卿的监禁终于被完全解除。
罗瑞卿恢复自由之身后，每个月有80元生活费，家里生活总算渐渐好了起来。这段日子，罗瑞卿基本不怎么说话，每天都在看书。
1974年底，曾在福建请老中医治过腿的张爱萍介绍罗瑞卿去治疗腿疾，在邓小平的批准下，罗瑞卿此后三年大部分时间都住在福建。
在福建治疗腿疾期间，儿子罗原跟在他身边照顾。那段时间，罗原跟父亲聊天的时间也多了起来，他曾问父亲：“为什么你还对毛主席死心塌地，你是不是有些愚忠？”
罗瑞卿一听，严肃地说道：“你们可以批评我，但我们对毛主席的信任，并不是凭空产生的。长征时期，随时都可能死去，但是，只要毛主席指挥，仗打得就很顺利，也不会天天被追着打。你不要觉得我们都没有脑子，那时候，我们对毛主席的信任最直接，那就是跟着他活下去。”
当时，罗瑞卿最担心的是自己孩子的未来和前途，作为父亲，他觉得对不起孩子们，是自己连累了他们。在福州治病期间，时任福州军区的司令员皮定均给了罗瑞卿一家许多照顾，尽管他们以前并没有什么交集。
然而，正当罗瑞卿一家的日子刚刚好过一些，政治空气又紧张了起来。最紧张的时候，皮定均来找罗瑞卿，愤怒地表示：“我准备拉着队伍上山。罗总长，你的腿不好，我们抬着你，你告诉我们怎么打，我们就怎么打。”
面对当时“四人帮”倒行逆施、胡作非为的做法，罗瑞卿尽管同样愤怒，但他表示“他们肯定是短命鬼”，而且，他也坚决反对任何分裂党内团结的行为。因此，罗瑞卿也只当皮定均在发牢骚，他相信皮定均司令员的政治素质。
1975年11月下旬，罗瑞卿请来军区和省委的几位领导，对他们说道：“福建这一年来的工作，大家也都有目共睹，在中央和邓小平同志的指示下，工作开展十分顺利。但是，现在的斗争还很尖锐，看来这场斗争还在继续，要继续准备斗争，经得起考验。”
皮定均坚定表示：“你就住在这里，将来他们这些人如果要翻天，我们就跟他们干。你腿不方便，多给我们出出主意。”
罗瑞卿回答道：“是啊，毛主席曾经说过，中央出了修正主义，就要起来和他们斗。”
1976年7月6日，朱德逝世，罗瑞卿决定于第二天回京。然而，就在他准备回京的这天中午，皮定均却在乘机视察军事演习的途中遭遇飞行事故，不幸遇难殉职，年仅62岁。
罗瑞卿得知消息后，心情久久不能平静，坐在轮椅上一个劲儿地说着：“他死得太可惜了，像他这样的一把手，现在已经很难找到了。”
于是，原定回京的日程又被推迟了一天，他和郝治平给皮定均的夫人张峰写去了一封信：
“今天一早，我们刚为朱老总离去而痛哭，中午听到这不幸的消息，又痛哭了一场。”
同年9月9日，毛主席逝世，18日，天安门广场上举行毛主席追悼大会，罗瑞卿经过反复斗争，回到北京参加了追悼大会。他拄着双拐，用一条腿支撑整个身体站了一个多小时。参加完追悼大会后，罗瑞卿便因伤心过度导致冠心病复发住进了301医院。
1977年8月，罗瑞卿恢复中央军委常委和秘书长职务，协助邓小平开展工作，他对中国的未来建设充满信心，对自己的工作充满期望，他声称“要把72岁当做27岁过。”
然而，不幸的是，罗瑞卿最终却倒在了异国他乡。噩耗传来，举国悲痛，中国人民失去了一位好党员好干部好将军。