新中国成立后，陈丕显被调任到上海工作，一干就是25年。这位在战争年代成长起来的“红小鬼”，先后在上海、云南、湖北三省担任过书记，最后调任中央政法委书记。
1929年，13岁的陈丕显参加儿童团，担任团长，肩负放哨、查路条等任务。他的组织能力非常好，在儿童团工作时，非常认真，没有路条不让过，无论是谁。有一次把闽西根据地的几位领导拦住，要路条，没有不让过，很多人都认识他，被大家称为闽西的“红小鬼”。
同年，他在福建参加共青团的创建工作，一干就是6年。中央红军长征后，他跟着陈毅等首长从敌人包围圈突围处理，在赣粤边打游击，坚持斗争三年。在抗战时期、解放战争时期，他主要负责地方工作。
1952年，被调任上海担任第四书记，1954年升为第二书记，排名在柯庆施之后。1965年柯庆施病故，他接替上海第一书记职务。
大运动中，他难以避免受到冲击，对于他来说思想上并没有过多准备。自己似乎没有经历过明显的“逆境”，一直在“顺境”之中。没想到如今作为群众批斗对象战争群众面前。此情此景，其中的心境，难以言表。
也正是从这个时候开始，经历长达八年之久的监禁生活。
1974年，他给毛主席写信，得到可以回家的消息，因正式结论组织上没有出来，让他在家里等着吧。
此时的他内心非常复杂，曾天天盼望着自由，如今重见天日。可内心还是很沉重的，中断工作8年，仍然
是一个“带尾巴”的结论，以后能干什么呢，心中一片茫然。
1975年，他恢复了中断9年的组织生活。1977年，中组部部长找我谈话，征求他对工作分配的意见。
陈丕显希望留在北京或者中央部门工作，主要考虑到身体虚弱，身患糖尿病，需要靠药物控制，鼻咽肿瘤，在京工作可以得到治疗。方便就医。可这位部长态度冰冷，你到哪里都不合适，只有两个地方可以去，青海、云南。
这两个地方都是高原，对于身体弱的人来说，根本吃不下。一个正常人到青藏高原都会呼哧带喘，更何况他鼻咽不适。如果真要去一个地方，他选择去云南。
就这样，他被安排担任云南省四把手，也就是书记，只是排名在第四位。当叶帅得知后，劝慰他不要去，高原气候让你的身体受不了，干脆回到部队算了。他的老首长粟裕也说：回到部队工作吧，现在几个大军区缺干部，到一个军区担任政委。
对于他来说，内心还是希望干一番事业的，再难也要去。于是，就到云南工作。5个月后，被调任到湖北担任第二书记，后升为第一书记兼武汉军区政委。
1982年，上级有意让他回到部队，担任总政治部主任，余秋里担任中央政法委书记。可是有考虑到余秋里长期在部队任职，更合适留在部队。最终任命余秋里为政治部主任，他担任政法委书记，直到1985年退居二线。