1937年抗战全面爆发后，长期在澳门隐居的叶挺坐不住了，他主动回到了上海。不久以后，周恩来亲自到上海与叶挺面谈，希望他为南方红军游击队改编为抗日队伍做点工作，叶挺欣然同意，他主动向国民政府第三战区前敌总指挥陈诚建议：将南方红军游击队集中编成一支队伍，开赴前线抗日，这支队伍就取名为新编第四军，以继承国共第一次合作北伐的老四军光荣传统，叶挺本人也愿意参与这支部队的组建。
叶挺的建议很快得到了蒋介石的同意，1937年9月28日，国民政府军委会任命叶挺为新编第四军军长，这为中共同国民党当局谈判集中改编南方红军游击队扫除了一大障碍。
但远在延安的毛泽东对叶挺所做的努力并不知情，他担心叶挺已经脱党多年，蒋介石之所以任命叶挺当新四军军长，是不是想借叶挺的帮助，把南方红军游击队改造成国民党军队，或把这支部队送上前线，借日军之手将其消灭。10月1日，毛泽东明确提出：
叶挺必须来延安，在他完全同意中央的政治、军事原则后，可以去闽粤边指挥张鼎丞部，以此为基础扩大队伍。
叶挺非常理解毛泽东的要求，他表示愿意到延安与中共中央负责同志当面商谈。11月3日，叶挺辗转来到了延安。
叶挺到延安的当天，就和毛泽东进行了彻夜长谈，他主动倾诉了自己脱党的经过和所受的委屈，同时一再表示自己拥护中国共产党的政治军事战略，接受中国共产党的直接领导。毛泽东听后非常感动，他表示经过中共中央的郑重考虑，可以将新四军的编制定为两师四旅八团，叶挺出任军长。
第二天，毛泽东亲自主持召开了一个欢迎叶挺的干部大会，他在会上说：“我们今天为什么欢迎叶挺将军呢？因为他是大革命时代的北伐名将，因为他愿意担任我们的新四军军长，因为他赞成我党的抗日民族统一战线的政策，所以我们欢迎他！”
叶挺听后激动地说：“同志们欢迎我，实在不敢当。革命好比爬山，许多同志不怕山高，不怕路难，一直向上走，我有一段是爬到半山腰又折回去了，现在跟了上来。今后一定遵照党所指示的道路走，在党中央的领导下，坚决抗战到底！”
叶挺在延安仅停留了一周，便赶回武汉着手组建新四军。经过国共双方多次协商，最终新四军编为4个支队，叶挺出任军长，项英任副军长，张云逸任参谋长，袁国平任政治部主任。
叶挺虽然是军长，但因为他已经不是中共党员，所以新四军的实际兵权掌握在项英手中。毛泽东曾多次提醒项英，要他和叶挺搞好关系，项英却自恃是中央政治局委员，并不买毛泽东的账，更不把叶挺放在眼里。叶挺在新四军备受冷遇，不仅重要会议不能参加，中央的文件指示，项英也不向他传达，下属部队的调动，项英也不告诉他。
1938年6月初，叶挺去武汉找国民党军事委员会为新四军要军费时，见到了周恩来，他把自己和项英之间的分歧向周恩来进行了报告，并建议成立共同议事的新四军委员会。两天以后，延安发来回电：
同意组织新四军委员会，项为主任，叶为副。
新四军委员会成立后，叶挺的处境并没有得到多少改善。原来司令部参谋处是放在军长一边的，后来干脆移到项英的住处；项英一开始与叶挺一起吃小灶，不久后就跑到大伙房就餐，撇下叶挺一个人吃小灶。在项英的影响下，其他干部也都有意无意地躲避叶挺。1938年10月，深感委屈的叶挺离开新四军出走，后来在周恩来的多次挽留下，他才回到新四军重新履职。
但在半年以后，叶挺和项英再次发生矛盾。1939年10月，叶挺来到重庆，再次向蒋介石提出辞职，国民党利用此事大做文章，攻击共产党不能容人。
毛泽东得知此事后，十分生气地对周恩来说：“这个项英，我早就叮嘱他要注意和叶挺搞好关系，可他就是不听！现在好了，弄得叶挺一而再、再而三地辞职，我们被国民党抓住了把柄，说共产党胸怀狭窄，容不下人！”
1940年5月4日，毛泽东代表中央起草了近3000字的指示信，不点名地对项英提出了严厉的批评，语气十分严厉。性格倔强的项英在看到这封信后，却产生了一个念头：与其让自己被逼得灰溜溜地下台，还不如主动提出辞职。他竟然主动给中央写了一封信，要求辞职。
毛泽东收到项英的信后，深知新四军毕竟是项英一手带出来的，他在部队里威望很高，在当前叶挺出走的形势下，新四军一时还离不开他。毛泽东只好暂时压下怒火，给项英回了一封信，信中对他这几年工作的成绩进行了肯定，并要求他继续履行职务。
但项英在收到毛泽东的信后，态度反而更强硬了，5月29日，他再次向中央提出辞职。这次毛泽东终于被激怒了，他对来延安汇报工作的袁国平说：“你给项英带句话，要干就好好干，不想干就拉倒！没有你项英，新四军垮不了！”
幸亏此时周恩来已从延安来到重庆，他再次对叶挺进行了反复劝说，叶挺这才回心转意，重新回到新四军工作，项英辞职的这场风波才暂时告一段落。
叶挺回到新四军后，仍以党和人民的抗日大业为重，继续努力工作。1940年11月，叶挺来到重庆见到了蒋介石，他向蒋介石提出：“第一，经费至少增至30万元一月；第二，江北各部队均需给合法名义；第三，如经费不加，则新四军将在其驻防地区内放县长，就可筹给养。”
蒋介石听后非常恼火地说：“你光知道帮别人要东西，辜负了我的希望。如果你能参加国民党，那什么经费、编制都好商量。”
叶挺却回答说：“我现在什么党派也不参加，一心抗日救国。”后来毛泽东听说了叶挺的话后，非常高兴。
1941年初，皖南事变发生后，叶挺为寻求新四军北移部队数千指战员的生路，主动下山与国民党军谈判而被扣押，成为了阶下囚。此后的几年里，叶挺先后被转移到柳州、桂林、重庆等地，在军统特务的监视迫害下，过着清贫的生活。但叶挺始终坚贞不屈，1942年，他在重庆渣滓洞集中营写下了著名的《囚歌》：
为人进出的门紧锁着，
为狗爬走的洞敞开着，
一个声音高叫着：
爬出来吧，给你自由！
我渴望着自由，
但也深知道——
人的躯体哪能由狗的洞子爬出！
我只能期待着，
那一天——
地下的火冲腾，
把这活棺材和我一齐烧掉，
我应该在烈火和热血中得到永生。
后来《囚歌》传抄到了延安，毛泽东看后深为感动。
1946年3月4日，度过了5年铁窗生活的叶挺终于出狱，第二天，他就给毛泽东发去一封电报：
我已于昨晚出狱。我决心实现我多年愿望，加入伟大的中国共产党，在你们领导下，为中国人民的解放贡献我的一切。请求中央审查我的历史是否合格，并请告复。
两天后，毛泽东给叶挺回电说：
亲爱的叶挺同志：
五日电悉。欣闻出狱，万众欢腾。你为中华民族解放与人民解放事业进行了20多年的奋斗，经历了种种严重的考验，全中国都悉知。兹决定接受您加入中国共产党为党员，并向您致热烈的慰问与欢迎之忧。
4月8日，是叶挺重获自由的第36天，这天上午，他乘飞机离开重庆，飞往延安。与叶挺同行的，除了他的妻儿外，还有王若飞、博古、邓发等党的高级领导干部。
这天中午，飞机在西安机场停留加油时，国民党军统特务买通了机场一个地勤人员，此人给飞机做了手脚，导致仪表失灵。这天下午，飞机在浓密的云层中偏离了正确的航向，进入山西兴县境内，当时该地上空也是阴云密布，山上飞雪，山下降雨，飞机在高度为1000余米的云层中摸索穿行时，突然与海拔2000余米的黑茶山迎面相撞，当即爆炸起火，跌落崖下，最终酿成了机毁人亡的悲剧。
叶挺遇难后，中共中央在延安、重庆、北平等地先后举行了追悼“四˙八”烈士的万人大会，毛泽东亲自给叶挺送上了挽联：
为人民而死，虽死犹荣。