后来陈毅在5月10日陪同解放军总司令朱德赴华东野战军总部驻地濮阳，但直到朱德离开两天后的5月20日，他还没有动身前往中原就职。中共中央于5月21日致电陈毅，指示：“陈毅不参加此次作战（豫东战役）”，敦促他“尽可能迅速偕同（邓）子恢及大批干部去豫西和刘邓会面，建立中原军区及中原局经常工作”。5月28日，当粟裕率领华东野战军指挥机关与军委后勤部长杨立三同行，转往鲁西南城武地区时，《陈毅传》记载有这样一段话：

陈毅托杨立三把缴获的交直流电两用的收音机一台带去中央送给“（周）恩来、小超（邓颖超）”，并附一信说：“此美国新出品、许昌战斗缴获品，你们有电灯，利用其开动起来十分好，两夫妇可以在屋内跳舞。”也就是在这信内，却写着一句耐人寻味的话：“明日即西去，毫无企图留部队之意，并望将来能随军入川”。此信是陈毅5月29日亲笔。周恩来阅后，特意亲笔批转毛泽东、刘少奇、朱德、任弼时等书记处成员传阅。他们都圈阅了，不知是谁还在“毫无企图留部队之意”这一句的旁边用毛笔划粗杠一道以示值得重视。

陈毅抵达中原军区后，还说：“东有粟裕指挥，西有刘伯承坐镇，我闲着无事，就去办一所大学吧。”

同样，中共中央的组织大调整，粟裕也毫无思想准备。在军委和毛泽东“战役指挥交粟裕负责”的明确指示下，华东野战军司令员陈毅恢弘大度，十分支持粟裕的战役决策和战役指挥。在战役发起以后，他常常离开指挥室，说：“我离开这里很必要，免得粟司令事事向我报告，延误时间。”这一点令粟裕心情舒畅。而且，陈毅在资历上比张鼎丞更老，此次陈毅调中原，中央明确分工是管后勤，即“建立中原军区及中原局的经常工作”，粟裕认为这不是陈毅的特长。

因此，粟裕以其一贯的与人为善的谦抑，向毛泽东请求：“陈毅同志无论如何不能离开华野。”毛泽东说：“中央已经决定了，陈毅同志和邓子恢同志到中原局、中原军区工作，华野还是你来搞。”粟裕只好提出了最后的请求：陈毅同志在华野的司令员兼政委职务继续保留。毛泽东沉思片刻，同意了粟裕的意见。此后粟裕成为华野的代司令员兼代政委。这是历史上影响到粟裕后来评级、授衔的“二让司令”。让掉司令员之名，却勇敢地担负司令员之责，功名归于他人，职责留给自己，这是何等高尚的情操！值得指出的是，这次谦让，因无正式司令员的名义，也客观上导致了粟裕知名度较低，后来战功还被淡化、转移以至于磨灭。

1948年10月下旬，在淮海战役即将打响的时候，为发挥华东、中原两大野战军的整体威力，粟裕向军委建议，由配合华东野战军作战的陈毅、邓小平统一指挥淮海战役。中央同意后，在此基础上，又于战役发起10天后组成了淮海战役总前委。两军联合作战，最要紧的是紧密团结与协调统一。由于历史的原因，解放军内部是存在大大小小的山头的。毛泽东说，只有承认山头，才能消灭山头。两军会合在一起作战，难免会生出种种问题。“红一方面军和红四方面军长征途中懋功会师的教训曾令后来的部队害怕会师。懋功会师，一方面由于张国焘的军阀主义倾向，向党伸手要军权，另一方面也由于会师工作没做好，没有注意团结，致使两军由欢呼会师很快分道扬镳，各奔前程。”很显然，粟裕是注意到了这些方面的。淮海战役是华东野战军代司令员兼代政委粟裕建议并首先发起的，初期参加淮海战役的部队，主攻战场是粟裕率领的华东野战军15个纵队、暂归粟裕指挥的中原野战军第11纵队共16个纵队。陈毅、邓小平率领的中原野战军4个纵队配合华野作战。按照惯例，在一次战役中，几支部队联合作战，一般是主要方向上的指挥员指挥次要方向上的指挥员，先打响的部队指挥员指挥后打响的部队指挥员，兵员多的指挥员指挥兵员少的指挥员。在中央尚未做出由谁统一指挥的决定以前，粟裕主动提出由陈毅、邓小平统一指挥的建议，对于顺利解决南线决战的指挥问题做出了重要贡献，再次表现了他大公无私、光明磊落的高尚品德。针对后来有人对中原野战军不服气的现象，粟裕还于1949年1月20日在华东野战军前委扩大会议上批评：“今后在作战中，我们要与兄弟野战军很好地配合，向兄弟野战军虚心学习。此次，有些同志认为中原野战军打黄维兵团打了多少天未打下，这种认识是错误的。……我们应该向人家虚心学习，不容许有骄傲现象。在以后配合作战中，大家要愿意多吃一点亏，愿意受人家指挥。团结是双方面的事情，别人要团结，你不要团结，就团结不好；要尊重人家，才能团结好。”