抗日战争全面爆发后，南方八省的游击队，改编为新四军。新四军的领导班子选择，也是重中之重，最终由叶挺将军出山担任军长，项英担任副军长。
而在新四军成立之初，中央同样面临着选择新四军参谋长的任务。叶挺和项英也曾推荐了几位人选，不过经过考虑，最终，毛主席提议由张云逸担任这一重要职位。军长叶挺曾向中央推荐过两位人选分别是周士第和周子昆。周士第资历是毋庸置疑的，他是黄埔一期毕业生。南昌起义时，已经是25师师长了，这样的起点不可谓不高。他也做过参谋长，经验毫无问题。在1926年北伐的时候，他就担任过独立团参谋长。长征到达陕北的时候，也任过红15军团参谋长，1936年12月，又任红二方面军参谋长。其实抗战刚刚开始他同样担任的是参谋长一职。他也因长期担任参谋长一职被誉为“模范参谋长”。
他与叶挺的关系匪浅，黄埔军校刚刚毕业时，他就参与组建孙中山的“建国陆海军大元帅府铁甲车队”，曾任铁甲车队副队长、队长，后又担任叶挺独立团第1营营长等职，可以说是叶挺的老部下了，合作也没有任何问题。不过，在当时周士第正在八路军120师担任参谋长，和师长贺龙一起开辟晋西北根据地。显然，他是不太可能离开而去新四军任职的。另外一位周子昆也是叶挺的老部下了，他投身革命后，曾在孙中山大元帅府铁甲车队。随后被编入叶挺的独立团，从排长、连长一路晋升为营长，叶挺对他也是十分看重。南昌起义后，他跟着朱老总一路上了井冈山。
周子昆也多次担任过参谋长一职，经验是没有任何问题的。组建新四军的时候，他正在抗大任职。叶挺想让周子昆担任新四军的参谋长，但周子昆资历稍浅，而且与南方八省的游击队几乎没有交集，担任新四军参谋长可能难以服众，不过还是让他担任了副参谋长。中央也征求过项英同志的意见，他提出的人选是陈毅或刘英。陈毅是红军的创始人之一，在井冈山时期，位高权重，是井冈山“三巨头”之一。长征开始后，他留在南方开展游击战争，在军中影响力非常大。
作为项英的老搭档，老战友，他对陈毅很熟悉，二人感情也很深厚。不过陈毅担任参谋长有点大材小用，况且为了党的领导，新四军内部，设立了中央革命军事委员会新四军分会，由项英担任书记，陈毅担任副书记，这一机构成为新四军的最高决策机构，负责统一领导和决策。因此，陈毅并不适合担任参谋长。刘英1929年加入了红四军，直接在毛泽东、朱德亲切教导下锻炼成长。他也没有参加长征，曾和粟裕率领红军挺进师在浙江坚持了三年艰苦卓绝的游击战争。
拥有着同样经历的项英与他很熟悉，只是他是政工干部，长期做的是政工工作，对军事并不擅长。这几个人选，最终都被否了，各有各的原因，最终中央敲定了张云逸。张云逸资历是够的，他早年加入中国同盟会，参加过黄花岗起义、辛亥革命、护国战争和北伐战争。1929年，张云逸参与领导百色起义，创建中国工农红军第七军并任军长。张云逸的经验也是有的，他曾在国民革命军第4军第25师担任参谋长。1932年，还担任中革军委副参谋长兼作战局局长，并在后来参加了艰苦卓绝的万里长征。
他与叶挺的关系匪浅，两人是同乡，也是军校的校友，在北伐期间他们是名副其实并肩作战的战友。也是他前往澳门，请回了叶挺。而张云逸在红军时和项英、陈毅都是老战友。项英在1931年，就担任苏区代理书记、中革军委的主席，他和张云逸等人自然也很熟悉。因此，选择张云逸同样是非常合适的。而且这个决定除照顾叶挺的意愿外，同时也考虑了各方面的权衡。