1973年下半年，陈永贵进政治局又成副总理后，成为了一个有权、有势、有威的大人物。许多人都羡慕他的运气和生活，觉得他肯定过得很舒服自在。可世界上哪有十全十美的事，有好就有坏。
陈永贵刚到北京工作时，被中央安排住进钓鱼台3号楼。他没有带家属一起，身边只有秘书和警卫各一名。住下后，陈永贵有诸多不适应，他享受着优渥待遇的同时，也受到了处处限制，不是那么自由自在。于他而言，钓鱼台就像个带小门的“笼子”一样。
钓鱼台本来戒备并不森严，只是正常有警卫守护；可是因为它里面住了江青、张春桥等人，他们树敌太多，担心被报复，所以里里外外布置有许多岗哨。
一般人进不去，进去了也有这样那样的规定限制。所以陈永贵想随便见来京的昔阳老乡都不方便，只能选择出门。他还了解到，谁来找他的，名字、进门时间、出门时间、进去后到了哪些地方、又待了多久等等，都会被详细记录。别人要来看他，半天才能进门，被封闭了似的。
有个负责帮陈永贵写材料的，为了工作方便原本跟陈永贵住一块，当他得知了这些监视和限制后，当即提出要搬走。陈永贵马上就批准了，他理解，也羡慕人家想搬就搬。
在钓鱼台的家里，进进出出的服务人员很多，但有不许讲话的规定，所以陈永贵要想讲话只能跟秘书和警卫。但秘书和警卫白天都有各自的工作，所以陈永贵白天忙完的时候，只能枯坐：就算想打牌娱乐娱乐，也找不到人一块，他还不喜欢串门。
后来，陈永贵鼓起勇气，给毛主席写去一封信，以自己要实行“三三制”（三分之一时间在昔阳、大寨蹲点，三分之一时间在中央工作，三分之一时间全国各地跑）为由，搬出钓鱼台住。毛主席回信批示同意，并高度肯定了这种做法。为了帮陈永贵顺利搬出钓鱼台，同时也是为了让“四人帮”的人数不再扩大，毛主席决定推一把。
第二天开会，毛主席当众紧握住陈永贵的手，动情地说道：“永贵同志，你要搬出钓鱼台，这很好。钓鱼台无鱼可钓嘛。”“四人帮”的各种行为，毛主席看在眼里。会上，毛主席还讲了“三不”，虽然没有指名道姓点出来，但与会人员都知道是在讲谁。
开完会后，陈永贵立即回到钓鱼台的家，高兴地收拾起东西，准备。突然，江青气势汹汹地冲到他家，大声质问道：“你倒是早就准备好，搬出去有地方住。我呢？我搬去哪里？”
陈永贵没把江青咄咄逼人的态度放心上，笑道：“我也要找新地方住啊，别人我可管不了。”江青见自讨没趣，便很快离开了。见江青走了，陈永贵便跟秘书说：“北京这么大，就没她能住的地方吗？我不信，她不想搬罢了。”
当时住在钓鱼台的中央干部，除陈永贵外还有吴桂贤等人，他们也抓住毛主席发话的这个机会，悉数搬出了钓鱼台。从这以后，钓鱼台只剩下“四人帮”。
从上海来的、被寄予厚望的王洪文不帮出去，让毛主席很是失望：为什么不做“大多数”，偏要做“一小撮”？