左宗棠率领着他的楚军集团攻城略地，朝着他们的权力巅峰进发。1863年四五月间，太平军方面在浙江战场只剩下了杭州、湖州两大战区。而要攻下杭州，必须先攻下富阳。由此，富阳战役开打。

太平军方面，调汪海洋从杭州来到富阳组织抵抗，与此同时，陈秀成调江苏战线的陈炳文驰援，由陈炳文负责指挥杭州地区所有太平军。经过四个多月的苦战，富阳仍然固若金汤。为了避免落在李鸿章后面，左宗棠决定调常捷军相助。

8月7日，楚军、常捷军急攻富阳。在洋人的大炮攻击下，富阳城被轰塌，8月8日富阳被攻占。这一战，左宗棠真正认识到了洋人武器的优异，从而加快了自己仿制洋枪洋炮的步伐。楚军开始围困杭州，左宗棠又命令黄少春由安徽战场回浙江，集中兵力猛攻余杭。

然而，左宗棠的做法使得左曾李三人矛盾激化。黄少春部本来是奉左宗棠之命辅佐曾国荃进攻南京，阻断南京的后路。结果该部调走后，曾国藩认为太平军余部大规模逃出包围圈，其罪责应由左宗棠承担。同时，对于李鸿章插手浙江战局，左宗棠更为不满。再加上对于淮军军纪松弛的不满，更使得左李二人之间的关系日加生硬终至决裂。

左李比拼的结果是江苏巡抚李鸿章于1863年12月4日收复了苏州（1864年5月江苏全部收复）。显然，在众人面前左宗棠落后于李鸿章，更令左宗棠生气的是，1864年2月李鸿章竟然命令淮军程学启部进攻浙江太平军，帮助身为浙江巡抚的他收复浙江。

1864年楚军于2月24日攻占了杭州，同时，康国器率领粤军占领余杭。进入杭州后，左宗棠立刻作了以下工作解决民生问题。

第一，号召有钱人出钱赈灾。令左宗棠没有想到的是浙江一些富豪竟然拒绝帮助百姓。早在同治元年（1862年）上海道吴煦，在浙江富豪杨坊等人的帮助下，和美国人华尔一起组建了常胜军，这4500多人的武装配备的资金大多为苏浙富豪捐赠。为此，杨坊、毛象贤、俞斌等还为此得到了官衔。李鸿章的淮军之所以进军速度较快，其主要原因就是武器先进。

左宗棠本以为这些有钱的外国人都给捐钱，中国人自会踊跃，哪里想到，当左宗棠号召他们捐款的时候，这些人竟然以各种理由少捐乃至不捐。为此，左宗棠在上奏弹劾他们之余，强令他们去筹款买粮运回浙江。