陈小鲁是陈毅最小的儿子，他出生于1946年，出生于山东临沂，当时陈毅正担任山东野战军司令员，陈小鲁就出生于这一时期。陈小鲁上面有两个哥哥，父母一心想要生个女孩，陈小鲁出生的时候，他的母亲看又是男孩，心里不太开心，就把孩子包着被单被放在屋门口，打算送给别人，但经过别人劝说后，陈小鲁的母亲放弃了这个想法。
陈小鲁的名字来源于“孔子登东山而小鲁”，1954年，8岁的陈小鲁跟随父母前往北京，他也陆续在北京育英学校、北京实验一小学、北京四中以及北京八中读书。也是在北京八中读书期间，陈小鲁经历了1966年开始的十年浩劫时期。
1966年，十年浩劫开始时，陈小鲁是高三的学生，因为时代的影响，他也不可避免地投入到那场特殊的运动之中。1967年2月之后，陈小鲁的父亲受到冲击，陈小鲁也前往北京718厂劳动，远离了时代的旋涡。
1968年4月14日的晚上，总理特意把陈小鲁叫到了西花厅，并安排陈小鲁前往部队锻炼，总理对陈小鲁说：“这样对你和你父亲都有好处。希望你表现好一些，干好了，可以入伍。否则要采取更严厉的措施。”同时，总理还嘱咐陈小鲁，让他不要把自己的去向告诉任何人，也不要给家中写信。
在这之后，陈小鲁被安排到沈阳军区的三十九军农场劳动锻炼，动身之前，他从家里带了100元钱，到部队后，陈小鲁发了一套新的军装，此后他就跟普通战士一样，吃一样的饭菜，一样出操、训练、下田、做班务，甚至干得比别人还卖力，每天晚上睡觉时累得都不想翻身。
进入部队锻炼后，陈小鲁年年都被评为五好战士，但因为特殊时期的原因，到1970年，他还没有正式入伍，也没有部队的津贴，两年时间也只发了一套军装，早都穿烂了……连里专门把陈小鲁的情况反馈到团里，1970年3月8日，陈小鲁先是入了党，到5月便正式入伍。
1971年的时候，陈小鲁返回北京探望父母，1972年，在父亲弥留之际，陈小鲁再次到医院探望了父亲。父亲因病去世之后，陈小鲁返回沈阳军区，1976年5月，已经是团政治部主任的陈小鲁，主动向军区申请调回北京，理由是与妻子两地分居。
陈小鲁的妻子是粟裕的女儿粟惠宁，两人于1975年结为夫妻。其实，陈小鲁申请调回北京的深层次原因是他所在的团是军区学习小靳庄的典型，而小靳庄又是江青树立的典型。陈小鲁与“四人帮”道不同不相为谋，所以申请调回北京。
就这样，陈小鲁调回了北京，回到北京后，他首先进入学院学习了一段时间，1979年被分配到总参谋部二部工作，1981年，陈小鲁担任了驻英国国防武官助理、副武官。1985年，他返回国内，担任了国际战略问题研究学会副秘书长等职务。
1992年，46岁的陈小鲁以上校的身份转业，投身商海的奋战当中。在这之后，他陆续担任了亚龙湾开发股份有限公司总经理，标准国际投资管理公司董事长等职务，在商业领域作出一番很大的成就。同时，陈小鲁也关心革命老区的经济建设，并多次帮助革命老区脱贫致富、招商引资，做了很多有益于社会的公益事业。
值得一提的是，2013年，67岁的陈小鲁返回了母校北京八中，组织了一场道歉会，并作为老三届的代表，向因为十年浩劫时期受到冲击的老师们郑重道歉。陈小鲁也真诚地反思了自己，反思了那段特殊的历史时期。2018年，陈小鲁因病去世，享年72岁。