1996年，姚文元刑满出狱，此时的他已经65岁了。姚文元出狱时，他的妻子金英早已不在北京这个伤心地居住了，而是搬回了上海居住。姚文元入狱期间，金英住在上海的一幢普通居民楼。组织给她安排了一个工作单位，但她没有去上过班，而是长期请病假。
那时，大女儿已经嫁人，跟丈夫生活在一块；二女儿、三女儿和金英一块生活，三女儿还在上中学。由于少了一个主要劳动力，金英母女三人的生活并不宽裕。直到姚文元继承其父姚篷子的一部分遗产后，经济上才有些好转。
姚文元出狱前，向组织提出自己能否到上海定居，上海是他发迹的地方，那里的气候他也比较适应。这一要求得到组织的批准。姚文元出狱后，提着东西，在来迎接他的亲人们的陪同下，从北京火车站出发，坐上了开往上海的火车。
抵达上海火车站时，姚文元下车第一眼就看到了自己的老妻金英，不由长叹一声：“哎，这真是十年如一梦啊。”对过去的那些是是非非，金英并没有埋怨丈夫姚文元，将他接回上海的家后，便专心照顾起他。姚文元平时就在家看书，基本不上街，更不与人来往，购物买菜等杂事，全由金英负责。
1998年6月，姚文元提出了他有生之年仅有的两个愿望，或者说向组织提交了两个要求：出版回忆录和重新入党。可以说，姚文元的这两个愿望，是“四人帮”的其他三人——江青、张春桥、王洪文不会提的。一是自感无望，二是不想折腾，三是还有些冥顽不灵。
对于姚文元“重新入党”的申请，理所当然地遭到了组织的拒绝；从他不听毛主席的劝诫，跟“四人帮”一条路走到黑开始，就注定了这一切。更何况，姚文元曾经犯下如此大的过错，又没有将功补过，怎么合适让他重新回归组织的怀抱呢？
不过，关于姚文元要求出版自己回忆录的事情，有关部门经过慎重的考虑，倒是表示可以考虑一下，合适的话，允许出版。姚文元大喜过望，拿起笔杆系统性地书写起自己的前半生。姚文元是个文笔不俗的文人，善于批判和反思。
过去，都是他批评别人，从别人的角度进行反思。如今，他开始批评自己，开始反思自己。姚文元写了一本长达42万字的回忆录，交待了自己前半生的种种事情，同时由衷的表达自己的忏悔和歉意。
姚文元将自己的回忆录命名为《回顾与反思》，书中详细介绍了“文革”时期的诸多历史细节。姚文元将自己的回忆录送交给有关部门审查，因涉及众多尚未解密的国家机密，至今未能出版，海外发行也未得到许可。
这让姚文元引以为憾。所以，姚文元提出的两个要求，组织只批准了半个，待到一切被解密，姚文元的回忆录也就能出版了。但姚文元已看不到了。姚文元早就患有糖尿病，身体状况一直说不上好，即便得到及时治疗，但年龄摆在那，身体机能不行了。
2005年12月23日，姚文元病逝，终年74岁。