1927年9月，毛主席领导秋收起义后，部队在井冈山落下了脚。当年12月，工农革命军（翌年四月起称红军）教导队在宁冈砻市创办。
教导队队长吕赤，四川人，是黄埔军校出来的，支部书记是蔡霾，陈伯钧、陈士榘、张令彬等人是区队长。除了张令彬外，他们几人既是区队长，又是教官。
1928年3月，教导队随毛主席率领的一团胜利攻克了酃县县城，缴获了不少物资。其中陈伯钧还搞到一支手枪。他向队长吕赤炫耀：你看，我搞到一支手枪！吕赤看后半开玩笑地说道：什么手枪？半斤铁，拉都拉不开。陈伯钧不服气，便面对吕赤扣动扳机。
让人没有想到的是，手枪里还压着颗子弹。只听“啪”的一声响，子弹正中吕赤头部，吕赤应声倒地。陈伯钧六神无主，等他跪地呼唤吕赤时，吕赤已经停止了呼吸。
教导队长被打死的消息，不胫而走，战士们议论纷纷，气愤不止，士兵委员会的人扭着陈伯钧去见毛委员。“打死人偿命”，再三要求毛委员批准，枪毙陈伯钧。
面对这些激动异常的士兵委员，毛主席十分理解，心情沉痛，却格外地冷静。他反复问明情况，思虑良久。终于说道：我们商量一下好吗？按理说杀人偿命，可是你们看看，已经打死了一个，是否还要打死一个？毛泽东这么一说，激动的人群开始平静下来。
毛主席继续说道，依我看，吕赤是个好同志，陈伯钧也不是坏人，他是跟吕赤开玩笑，玩枪走火，误杀了人命。他们两个都是从军事学校出来的，表现都不错，军事上有一套，这样的人我们还很不够哩。
主席停了片刻说，我们能不能只追悼一个人，否则，另一个还不好追悼！你们看怎么样？
士兵委员会的同志见毛委员这么尊重他们，而且讲得确实有道理，也不好再坚持原来的意见了。这个事情就这样过去了。
毛主席慧眼识才，力排众议，为中国革命保留了一个军事人才。
很多人对王震担任359旅旅长比较清楚，对他们创建南泥湾、保卫陕北、进军大西北比较了解，实际上陈伯钧是359旅首任旅长。
抗日战争爆发初期，红军进行改编为八路军，贺龙任120师师长，陈伯钧任120师第359旅旅长，后到中共中央党校学习，由王震接任。
在战争岁月中，无论是作战间隙，还是行军路上，还是在学习期间，陈伯钧保持记日记的习惯，从1933年起，记下了17年约4000篇日记，记载了人民军队的战斗历程，涉及1933年的反“围剿”斗争、两万五千里长征，以及辽沈战役、平津战役、湘西剿匪等不少历史事件，在党史、军史研究上具有重要作用。
以后，陈伯钧同志屡立战功，成长为一个著名的高级将领，1955年被授予上将军衔。