1929年，陈锡联才14岁，就加入了当地的陂安南游击队，同年秋天编入中国工农红军第十一军，从这儿开始了他的军旅路。
1930年，他转为中国共产党党员，从战士一步步干起，先当班长、排长、连长。1931年，他担任红四军第十师二十八团第二营营长，参加鄂豫皖苏区反围剿作战。那时候他还年轻，指挥部队打了不少硬仗。
到1932年，他升为红四军第十师师长，在黄安战役中带队击退敌军进攻，摧毁多个据点。1933年起，他当红三十军第八十八师二六三团营政治委员、团政治委员，参加仪南战役、营渠战役、宣达战役，还有反六路围攻作战，这些战斗帮着开辟了川陕革命根据地。
1934年，他参加广昭战役和陕南战役。1935年7月，红四方面军西渡嘉陵江，开始长征，他担任红十师师长，指挥部队翻雪山、过草地，粉碎敌人围追堵截，胜利到达陕北。长征中他负伤好几次，但一直坚持下来。
抗日战争一打响，1937年10月，他任八路军一二九师三八五旅七六九团团长，指挥夜袭阳明堡机场，摧毁日军飞机24架。1938年，他升任三八五旅旅长，指挥部队在山地阻击日军运输队，缴获物资。
1940年，他担任太行军区第三军分区司令员，组织游击战，破坏日军铁路线。1943年，他指挥部队袭击日军据点，俘虏士兵。整个抗日时期，他带队参加了神头岭、响堂铺、晋东南反九路围攻战役，还在百团大战中坚守阵地。
解放战争时期，1945年，他任晋冀鲁豫野战军第三纵队司令员，指挥邯郸战役，包围敌军，俘虏大量敌兵。1947年，他指挥挺进大别山，部队穿越河流，建立根据地。1948年，参加淮海战役，指挥部队攻克城镇，缴获武器。
1949年，他任中国人民解放军第二野战军第三兵团司令员，指挥渡江战役，解放南京，接着参加西南战役，解放重庆。
中华人民共和国成立后，他任三兵团司令员兼重庆市委第一书记、市长、军管会副主任、川东军区司令员。1950年4月，他任中国人民解放军炮兵司令员，组织部队改装装备，制定发展规划。
陈锡联的军事生涯里，负伤是家常便饭。一次左手大拇指被炸伤，简单包扎就继续打仗。下颌中弹，子弹从后脖穿出，他忍痛指挥撤退。腿部负伤，被士兵抬着转移，还边走边布置防御。
头部受伤，鲜血直流，用布条裹紧接着前进。这些伤让他在部队里积累了威信，也让他成为经验丰富的老将。到1955年，他已经40岁，积累了从红军到解放战争的实战经验。
1955年9月27日，在中南海怀仁堂举行授衔仪式，陈锡联被授予上将军衔，那时他正好40岁266天。他当时担任炮兵司令员，这个衔位是正兵团级，还获了一级八一勋章、一级独立自由勋章、一级解放勋章。
陈锡联的第一任妻子叫栗格，原名黎芝慧，是陕西米脂人，抗大毕业。1942年12月16日他们结婚，1948年秋天栗格病故。那时候陈锡联正忙于解放战争，失去妻子对他打击不小。后来陈赓介绍王璇梅给他，两人很快就结婚了。
三子陈再方1953年生，任中国人民解放军总装备部科技委副主任，中将军衔。幺女陈再红1955年生，从事教育事业，已退休。家庭生活比较和睦，王璇梅一直低调，专注翻译和家事。