当黄百韬兵团即将被全歼的时候，南北两线战场态势发生明显变化：黄百韬兵团已无力回天，邱、李两兵团东援表现很不积极，黄维、李延年、刘汝明三个兵团开始分别从蚌埠、蒙城地区向北增援。毛泽东于11月18日提出，在北线歼灭了黄百韬兵团，南线歼灭了李延年兵团、歼灭或驱逐了刘汝明兵团之后，“即可全力歼灭黄维，如像在碾庄歼灭黄百韬那样，获得一个伟大胜利”。同一天，黄维兵团进至蒙城地区，向中原野战军发起攻击。11月19日，刘伯承、陈毅、邓小平提出，华东野战军在歼灭黄百韬兵团以后，“即将主力集中于徐东、徐南，监视邱、李、孙三兵团，争取休息十天半月。同时以尚未使用之五个纵队或三个纵队用于南线，协同我们歼击黄维、李延年”。

粟裕分析后认为，这是当前最有利的出击方向，因此于11月20日复电，“完全同意刘陈邓指示”，决定“抽出四至五个纵队，必要时增加三个纵队，协同中原野战军歼击黄维、李延年”，针对刘、陈、邓准备同时“歼击黄维、李延年”的设想，粟裕进一步建议“首先求得彻底歼灭黄维兵团为主”，表现了他敏锐的战场洞察力。

11月22日，还不知道自己将成为解放军下一道盘中菜的黄维兵团，向中原野战军南坪集阵地猛烈进攻，出现了歼灭黄维兵团的有利战机。刘伯承、陈毅、邓小平向中央军委再次建议先打黄维，并请华东野战军“以两三个纵队对李、刘防御，至少以四个纵队参入歼黄维作战”。

毛泽东于11月24日复电：“完全同意先打黄维”，指示华东野战军“派必要兵力参加打黄维”。

4天前就建议首先彻底歼灭黄维兵团的粟裕于11月24日、25日连复两电，表示“完全拥护先集中力量歼灭黄维的作战方针”，决定“大力协同中原野战军歼灭黄维兵团”，并做出具体部署：抽调3个纵队，连同已交归中原野战军指挥的11纵，投入歼灭黄维作战；以3个纵队加江淮军区两个旅，阻击李延年、刘汝明两兵团向西向北进犯；以8个纵队监视和钳制邱清泉、李弥、孙元良3个兵团，使其不能向南向西增援。

经过毛泽东与前线将领的反复磋商、协调，围歼黄维兵团的作战方针确定下来了。粟裕指挥的华东野战军除先后派出5个纵队直接参加歼灭黄维兵团的作战外，还担负着钳制、阻击南北两线国民党军1个“剿总”指挥部、5个兵团约40万人的作战任务，这是甚于直接解决黄维兵团的三副重担。因此，粟裕晚年谈到淮海战役时说：“在大兵团作战中，钳制、阻击方向集中相当大的兵力；有时大于主攻战场，淮海战役第二阶段就是这样。钳制、阻击战场不仅直接保障主攻战场，而且关系到战役下一阶段的发展，稍有失误，便会给全局带来难以预料的结果。淮海战役第二阶段，我钳制、阻击敌人一个剿总指挥部、五个兵团，兵力约40余万人，距主攻战场最近只有五六十公里，其对全局的影响是可以想见的”，他还说：“我在解放战争的战役指挥中有三个最紧张的战役：宿北、豫东和淮海。而淮海战役中最紧张的是第二阶段。我曾经连续七昼夜没有睡觉，后来发作了美尼尔氏综合征，带病指挥。战役结束以后，这个病大发作起来了，连七届二中全会也没有能参加。”

在第二阶段作战方针商讨过程中，粟裕在11月20日的电报中判断，黄百韬兵团被全歼后，徐州之敌与蚌埠、蒙城之敌有“以宿县为中心对进，以图打通津浦线联系之极大可能”，因此决定以8个纵队成大弧形包围徐州，监视和钳制徐州之敌，阻止其南援。以4个纵队加2个旅阻止李延年、刘汝明两兵团北进，“全力保刘陈邓歼黄（维）胜利”。

果然不出粟裕所料，11月23日，黄百韬兵团被消灭，蒋介石急令徐州“剿总”司令刘峙、副司令杜聿明到南京开会。决定“徐州方面以主力向符离集进攻，第六兵团及第十二兵团向宿县进攻，南北对进，一举击破共军，以打通徐蚌间交通”。这时，粟裕指挥的华东野战军早已严阵以待。北线经3天激战，由徐州南下的邱清泉、孙元良两兵团仅仅前进10到15公里，到第三天再也无法前进。而南线李延年、刘汝明两兵团刚刚前进到任桥地区，就受到华东野战军猛烈打击。11月26日，华东野战军部队攻克任桥以东的灵壁，威胁李、刘两兵团侧背，李延年、刘汝明立即指挥所属部队缩回浍河以南。由蒙城北进的黄维兵团则被刘伯承、陈毅、邓小平指挥的中原野战军部队包围在双堆集地区。这样，蒋介石的南北对进计划刚刚开始即破产了。

在第二阶段中，粟裕一直最关注徐州杜聿明集团的动向。他后来回忆说：“我分析杜集团下一步的动向有两个可能，一是固守徐州；一是突围。敌人突围对我并非不利，因为如敌人固守徐州，以坚固设防的大城市为依托，将加大我军歼击该敌时的难度。问题是如果敌人突围，我们必须把敌人围死在一定的地域，以求全歼。我们决定不把敌人堵死在徐州，而准备对付敌人突围”。

11月28日，中央军委和毛泽东来电指出：“黄维解决后，须估计到徐州之敌有向两淮或向武汉逃跑可能。”接到中央军委来电，粟裕进一步分析敌我态势，认为杜聿明有不待黄维被消灭就放弃徐州的可能，并且判断他逃跑的方向有三个：“一是沿陇海路向东，经连云港海运南逃，但要迅速解决装载三个兵团的船只、码头是困难的。二是直奔东南走两淮，经苏中转向京沪，但这一路河川纵横，要经过水网地区，不便于大兵团、重装备行动。三是沿津浦路西侧绕过山区南下，这一带地形开阔，道路平坦，距黄维兵团又近，可以同李延年、刘汝明两兵团呼应，南北对进，既解黄维之围，又可集中兵力防守淮河。敌人极大可能走这一路。一旦杜聿明与黄维会合，战场形势将发生不利于我的大变化，所以这也是对我们威胁最大的一着”。因此，在兵力部署上，他准备重点对付徐州杜聿明集团向西南逃跑。