西安事变后，国共和谈联合抗战；七七事变发生后，工农红军进行了改编，中央红军主力部队改编为国民革命第八路军。在南方红军游击队的问题上，国共两党意见分歧很大，双方僵持不下。
蒋介石坚决不承认南方游击队，坚持要将南方游击队“实行编散”，想把他们解散瓦解掉。周恩来在南京和何应钦就南方游击队的问题进行谈判。
在谈判中，何应钦提出由陈诚来负责改编和领导南方红军游击队，遭到周恩来的断然拒绝，坚持要彭德怀或叶剑英来负责。
就在双方僵持不下的时候，周恩来在上海新雅饭店偶然遇到从澳门回来的叶挺，时间是在淞沪会战爆发前。
看到叶挺，让周恩来眼前一亮；叶挺既加入过国民党，也当过共产党员，或许是国民党方面能够接受的解决南方红军游击队改编问题的合适人选。
叶挺是北伐名将，领导过南昌起义。接着指挥了广州起义，因广州起义失败，叶挺受到广东省委的责难，后来在莫斯科又受到王明的严厉批评和共产国际的冷落，因而脱离了党组织。
当时叶挺是国民党通缉的“反叛要犯”，国内暂时不能回，就去了德国。九一八事变后，叶挺心系国家，便回到澳门参加抗日救国斗争。
周恩来对叶挺提出由他来改编南方游击队时，叶挺欣然答应，并建议改编后部队沿用北伐军第四军的番号，称新四军。对于叶挺负责改编和领导南方游击队，蒋介石也表示同意。
就这样，南方八省的红军游击队改编为国民革命军陆军新编第四军，简称新四军，叶挺担任军长。
叶挺担任新四军军长是国共双方相互退让的结果。国民党不希望在南方出现共产党领导的武装力量，而且还是有组织的、拧成一股的强大力量，所以无论是中共任何人领导新四军，国民党和蒋介石不可能答应。
对于中共来说，散落在南方各地的红军游击队迅速合法的集合成一支由中共领导的主力部队是刻不容缓的事情。一方面侵华日军步步紧逼，南方游击队整合在一起可以大大增加抗日的力量；另一方面，将散落在各地的游击队伍集合起来，可以增强自己的武装力量。
周恩来提出由彭德怀或叶剑英负责改编，但最合适的人选还是陈毅。陈毅是井冈山三巨头之一，资历老、威望高，又有三年南方游击战争的经历，对于各方面都熟悉。不过，中共眼里最合适的人选，在国民党看来绝对是最不合适的。
双方因为由谁来负责改编和领导南方游击队的问题僵持不下，恰好叶挺特殊的经历和坚决的抗日救国之心使得他成为了最合适的人选。
这样看来，新四军至少在表面上成为游离于国共双方之间的一支特殊独立的抗日武装力量，这是一个双方都能接受的结果。
即使是这样，新四军的改编之时，受到了国民党的处处压制。在编制问题上，周恩来提出“两师四旅八团”建制，但国民党只批准新四军编为四个游击支队，规模相当于一个师。
改编后的新四军全军共计1万人，6000多支枪，在编制上与八路军三个主力师相当，受第三战区顾祝同指挥。
陈毅在新四军改编之初，任第一支队司令员，相当于八路军的团长职务；粟裕担任二支队副司令员，相当于八路军的副团长职务。