一九三七年十一月三日,国共双方认可的北伐名将、新四军军长叶挺受邀抵达延安,受到隆重的欢迎。
毛泽东会见了叶挺,解释了中国共产党在对日作战中的路线、方针和政策,并一起研究了改编南方红军游击队的诸项事宜。叶挺返回武汉后,经与国民政府军事委员会反复磋商,终于达成协议,规定:新四军独立建制,不隶属八路军,归战区统辖;军以下不设师和旅,辖支队和团,部队全部开赴抗日战场。
同时,新四军坚持共产党的领导和敌后游击战的独立性原则,国民党不派人进入新四军。
一九三八年一月六日,新四军军部迁往南昌三眼井,正式宣布成立。叶挺任军长,项英任副军长,张云逸任参谋长,周子昆任副参谋长,袁国平任政治部主任,邓子恢任副主任。全军共辖四个支队:
第一支队,司令员陈毅,副司令员傅秋涛,所辖一团团长傅秋涛兼任,二团团长张正坤;
第二支队司令员张鼎丞,副司令员粟裕,所辖三团团长黄火青,四团团长卢胜;
第三支队司令员张云逸兼任,副司令员谭震林,所辖五团团长饶守坤,六团团长叶飞;
第四支队司令员高敬亭,副司令员周骏鸣,所辖七团团长杨克志,八团团长周骏鸣兼任,九团团长顾士多,手枪团团长詹化雨。
军部辖直属特务营。
全军总计一万零三百人。
一九三八年春,新四军首先在安徽舒城打响了阻击日军的战斗。
之后,在巢县东南的蒋家河口伏击了日军的守备船队,又在南京至句容间伏击了日军南进的汽车队,在镇江西南的韦岗附近伏击了日军的另一支汽车队,同时夜袭南京以南西善桥的敌人守备队,破坏了南京至镇江间的铁路,致使交通“阻断三日”。
由于日军兵不敷出,只能沿交通线驻扎于重要的城镇和车站,于是新四军控制了宁沪铁路沿线的大部分村庄。
新四军与日军“每日必有接触。据称在此六个月中间,新四军所杀伤之日军,达二千五百之多,并夺获日军步枪五百余支”。