下午3点，日军集中炮火猛击樊塘，将粟裕观察所所在的民房屋顶打穿。日军炮击前，粟裕和随同人员已进防炮洞。敌炮击后，从西、南、北三面攻击樊塘。

在敌猛烈进攻情况下，为安全起见，吕平请粟裕回水西村，粟裕没有走。粟裕镇守樊塘，协助刘振太指挥各连利用残破工事，顽强阻击，对敌进行短促的反冲击，多次将敌击退。打到下午4点，粟裕命二营撤出樊塘，转移到水西村。

水西村西有条小河，河上有座三孔木桥。这座桥是从关帝庙和樊塘方向进入水西的必经之路。二营进入水西村后，粟裕命令侦察科长派人将大木桥桥柱锯断倒在河中，将桥板搬到河东岸。又利用战斗间隙在村头召开火线动员会，动员政工、后勤人员也拿起武器投入战斗。

下午4点半，日军开始猛攻水西村，被符义山的三营、指挥部的警卫连及机关人员（关于警卫连和机关人员组成的参战部队，时任指挥部参谋恽前程的回忆里没有提起，但另一参谋马苏政的回忆里有）阻于坝河西岸。日军两次组织强渡，都被击退。

在日军进攻中，粟裕不断将战情报至陈毅。陈毅接到粟裕报告后指出：日军日夜连续进攻，遭我军顽强阻击，进占缓慢，伤亡很多，十分疲惫。我军可以趁敌无力进攻之际，组织部队对敌出击。粟裕遂决定黄昏前对敌反击。

粟裕令符义山营坚守水西村、王家桥三线阵地；调驻守潘家、储庄一线防御东面之敌的教导大队迂回到樊塘、安中里之间，对樊塘之敌侧背攻击，命刘振太营随教导大队后跟进。特务营李德安率一个连，隐蔽运动到安中里大树林东头对日军实施佯攻。

下午5点，教导大队、特务营抵达攻击位置对日军发起攻击。日军腹背受敌，仓促应战，招架不住，进攻水西之敌后撤至安中里。教导大队和二营跟踪追击，到安中里东头遭敌阻击，与敌对峙。

这时天色已黑，粟裕正打算集中兵力攻歼安中里之敌时，日军在晚上9点左右扛着几十具尸体撤出安中里向南渡镇逃窜。日军逃窜前放火烧了部分村庄。粟裕命各部乘胜追击，收复樊塘、关帝庙、安中里、东杜家冲等地，扑灭了大火，抓了两个掉队的日军伤兵。

战后查明，此次进攻水西的日军这个大队有五个中队，其中一个九二步兵炮中队，一个重机枪中队，千余人。我方出动的是江抗二团两个营，一个特务营，一个教导大队，江南指挥部一个警卫连，还有一些机关工作人员，兵力也是千余人。

粟裕对日作战在兵力上向来以众击寡。水西保卫战是粟裕首次在敌我兵力相当的情况下指挥阵地战、巷战。新四军官兵依仗工事和地形与敌连续作战16小时，以阵亡8人、伤42人的代价毙伤日军200余人，粉碎了敌人袭歼江南指挥部的阴谋。

这也是粟裕与日十三军独立第十二混成旅团的第一次直接交手。此次交手显示独立第十二混成旅团虽然在装备上占据优势，但在战术上并无出彩之处，倒是粟裕率领下的新四军官兵在纵深梯次上的兵力配备及顽强作战的精神完全压倒了日军。

日军对江南指挥部的袭击无功而返，但在溧阳、郎溪等地因国民党守军的不抵抗，日军仅用三天进占了溧阳、郎溪、山丫桥和宣（城）长（兴）公路以北广大农村地区。