1928年6月下旬，因中共湘赣边特委机关遭到破坏，书记郭亮壮烈牺牲，滕代远奉命接任郭亮，恢复特委机关。
7月22日，滕代远和彭德怀、黄公略等人领导发动了平江起义，中国工农红军第五军正式成立，滕代远任党代表。他成为了中国工农红军的早期创始人之一。
12月初，滕代远率领部队上了井冈山，与红四军胜利会师。从红五军建立之初到1930年5月，虽然部队序列有过五次变更，但滕代远始终担任着党代表或政委一职。
1930年8月，滕代远出任红一方面军副总政治委员兼三军团的政委。这时，滕代远的地位还在林彪之上，林彪见到他后也要叫一声“首长”。
此后，滕代远在红三军团的序列变动中始终担任着政委一职，期间，他跟随彭德怀同志一起奋战沙场，参与指挥了多场重要的战役，逐渐成为了红三军团中优秀的军事指挥员，其军事指挥才能深受党内同志一致认可。
除了在军事指挥方面颇具才能外，他更是一名优秀的政治工作领导者。为了加强党对部队的领导，提高部队的战斗力，统一思想，滕代远开展了大量卓有成效的工作。
从第四次反“围剿”开始，在李德、博古错误的指挥下，中央苏区的处境变得越来越艰难。对此，已经失去了指挥权的毛主席曾尖锐地指出：
“李德不了解中国的国情，也不了解中国工农红军的情况，不做调查研究，听不得不同意见，生搬硬套在苏联有效、在中国行不通的战略战术，使我们吃尽了苦头，付出了惨重的血的代价。”
滕代远、彭德怀因执行毛泽东的军事路线而与李德等一些领导人发生了争执，最终，滕代远被调离了红三军团，彭德怀也被撤销了中革军委副主席的职务。
滕代远是红三军团的创始人之一，在军团任职多年，毫无架子，平易近人，和广大干部、战士相处和谐，军团上下和他之间建立了深厚的感情。尤其在第一次至第三次反“围剿”战役中，滕代远、彭德怀密切配合，率领广大战士展开红军大兵团作战，并取得了胜利，粉碎了国民党军“围剿”中央苏区的阴谋。
在战斗中，滕代远和广大战士们已经有了生死与共的感情。但1934年9月，滕代远被派往苏联学习，直到1937年12月，他才经新疆回到了延安，出任中央军委参谋长。
此后，根据党组织安排，滕代远在抗大担任副校长，为我党培养了一大批优秀的干部。1942年，他又出任八路军参谋长。在不同的工作岗位上，滕代远都展现出了强大的领导指挥能力。深受党中央信赖和重用。
在中共七大上，滕代远当选为中央委员。可见，资历深厚、能力出众的滕代远在我军中的地位非同一般。
在抗日战争和解放战争中立下赫赫军功的林彪也对他十分欣赏，曾直言“滕代远可以封元帅。”
不过，在新中国成立后的全军大授衔仪式上，滕代远却没有获得任何军衔。这主要是因为此时的滕代远已经离开了部队，被调到了铁道部担任部长，不再参与授衔。
虽然身边不少同志都为他感到可惜，但滕代远却毫不在意。他长期主持铁道部的工作，为我国的铁路建设做出了重要贡献。
1965年，滕代远在第四届全国政协会议上被选为副主席。
不久后，政治形势急转直下，滕代远也受到了冲击，几乎每天都有人找上门要求他提供诬蔑老同志的黑材料。但滕代远始终坚持原则，顶住压力，委曲求全在厄运逆境中继续坚守。
1974年12月1日，滕代远在北京病逝，终年70岁。这位一生都在为党和人民服务的优秀共产党员就这样永远离开了我们。