抗日战争初期，八路军主要集中在山西省，因为当时红军改编为八路军从陕西渡过黄河进入山西进行抗日作战。
但是随着八路军的发展，不可能仅仅局限于山西省，于是八路军115师开始从山西进入山东，建立敌后抗日根据地。120师开始进入绥远与察哈尔方向，建立抗日根据地，129师进入河南方向，建立抗日根据地。
八路军三大主力师，在抗日战争时期通过发展，势力已经遍及陕西、山西、河南、河北、山东几个省份，整个华北地区都连成了一片。
而著名的山东纵队也是在抗日战争时期发展起来的，早在抗日战争全面爆发时，山东军阀韩复榘为了保存实力，不战而逃，致使山东很快被日军占领。
八路军为了开辟山东抗日根据地，先是派黎玉任山东省委书记，领导山东抗日武装起义，起义部队改编为八路军山东纵队，黎玉任政委，活跃在鲁中、鲁南及胶东地区，兵力有4万多人。
随后八路军115师进入山东，山东纵队同115师在抗日战争时期并肩作战，相互帮助，最终使山东的八路军抗日武装力量发展到了20多万人。
抗日战争结束后，罗荣桓带领山东军区六万多人开赴东北，开辟东北战场，最终成了东北野战军的主要组成部分。而新四军北上进入山东，同剩下的山东军区部队合在一起，并且组成了华东军区，从此山东军区的部队归到了华东野战军麾下。
山东纵队作为山东抗日根据地的主要开拓者，是非常重要的，因为在115师进入山东之前，山东纵队已经创建了很多的根据地，为115师能够在山东站稳脚跟提供了很多条件。
黎玉同志
山东纵队的主要领导人除了黎玉，还有一位很有名，叫林浩，曾经还是许世友将军的政委。当初山东纵队成立时，都是靠武装起义的部队组成的，部队扩充快与干部培养训练跟不上的矛盾比较突出，为了应对这个问题，115师派出2000名战斗骨干和指挥员调到山东纵队，这样一来山东纵队的战斗力大大提高了。
除了115师抽调出来了一些干部，延安也派了一些高级将领来山东纵队进行指导工作，其中就有著名战将许世友。
许世友将军是红四方面军出身，早年曾经在吴佩孚手下当兵，后来脱离军阀回到家乡，参加了黄麻起义，是红四方面军的元老级人物。红军时期，曾经担任红四军军长，抗日战争时期担任386旅副旅长。
1939年，许世友因为和386旅政委王新亭不合，最后被刘伯承“各打五十大板”，双双调离原来岗位，许世友被调到山东纵队，担任第三旅旅长。许世友到达山东后，率领部队在莱阳、海阳地区击退反共顽固派军队，扭转了胶东地区的不利局面。
1942年，胶东军区成立，许世友任胶东军区司令员，林浩任政委，二人在一起共事六年，通过两人在一起搭档的时间，可以看出许世友和林浩关系还是不错的。
1947年1月，胶东军区部队改编为华东野战军第九纵，林浩兼任纵队政委、党委书记，许世友为第九纵队司令员。
直到1948年初，许世友升任山东兵团司令员，而林浩却因为在1947年的土改工作中被饶漱石和康生诬陷为“富农路线”和“宗派主义”，在1948年1月，黎玉和林浩等山东纵队的创始人被撤职。
林浩将军
1948年，许世友指挥山东兵团解放了济南，1949年起任山东军区副司令员、司令员，建国后许世友又参加了抗美援朝，任第三兵团司令员，1955年被授予上将军衔。
而山东纵队的黎玉和林浩则比较惨，黎玉本来是华东野战军的副政委，妥妥的上将以上资历，可是因为饶漱石和康生的批判，直接撤消了职务。直到建国后，黎玉才担任了上海市委秘书长，但是没有多久就又再次受到错误批判，降为上海市委劳动工资处处长。
曾经的山东纵队创始人，华东野战军的副政委黎玉，建国后才担任了一名处长，不得不说真是造化弄人。不过虽然是一名处长，但是黎玉同志仍然兢兢业业的工作，后来又担任了第1机械工业部副部长，第8机械工业部副部长，农机部副部长。
直到1986年，当黎玉同志去世前几个月才收到了中共中央为其在1948年所受错误批判进行平反的通知，黎玉同志去世前获得平反，真是让人欣慰。
而许世友将军的搭档，林浩将军也差不多，在1948年被撤职后，直到1949年才被任命为中共中央华东局政策研究室研究员。建国后，林浩前往南京军事学院工作，曾担任南京军事学院的政治部主任。1955年，林浩只以正军级被授予了少将。
其实，以林浩将军的资历和职务，解放战争时期已经是第一任九纵队政委，1947年8月，国民党九个师进攻胶东军区，胶东军区与十三纵组成前线指挥部，林浩任指挥部政委兼代司令员，这足以说明了林浩在山东军区的重要性，已经可以指挥两个纵队的部队。假如没有饶漱石和康生的错误批判，作为山东纵队创始人的林浩也可以授予开国中将。
许世友和林浩
值得一提的是，林浩同志虽然没有参加过长征，但是依然凭借胶东军区政委和第九纵队政委的职务，授予了一级独立自由勋章和一级解放勋章，一级独立自由勋章尤其珍贵，全军只有313名将军获得。
当然历史不容假设，林浩将军虽然只授予了少将，但是老将军仍然没有任何怨言，还有黎玉同志建国后只担任了处长，也是没有任何怨言，兢兢业业的工作，这种精神真的让人敬佩。
当时黎玉被批判时，山东纵队的元老人物都建议让黎玉上报中央，据理力争，一定要把“官司打清楚”。可是黎玉同志却只在华东局负责人的小组会议上进行过申辩，在公开场合，反而违心地作了检查，默默地接受了不公正的批判。
多年以后，有人问黎玉为什么不据理力争？黎玉同志的回答真是让人敬佩，他说如果因为维护自己的政治生命来进行争辩，势必影响了内部的团结。
当时山东和华中的干部关系是很微妙的，如果因为这导致山东和华中两个地区间干部的对立，对于华北地区的解放战争是不利的，为了避免内部分裂，确保战争的胜利，也只有牺牲个人以维护党的最大利益。
所以从整个华东地区的战争角度来看，黎玉同志做的是对的，同时黎玉同志和林浩将军在抗日战争时期经营山东，建立山东的抗日武装，为后来的115师顺利进入山东提供了很好的群众基础，同时山东抗日根据地为东北野战军输送大量的兵力，也为华东地区的解放战争做出了巨大贡献，历史不容假设，但是不能忘记山东纵队的历史功绩。