左宗棠其后和湘军猛将鲍超合谋准备攻下建德，为祁门之围解困。这时的左宗棠已经升为三品京堂候补。然而，1861年2月左宗棠遭遇了一次大败。是月，侍王李世贤攻占婺源、平乐、鄱阳等地，兵锋直指浮梁和景德镇。左宗棠连忙派王开林、罗近秋迎战。结果，李世贤半路伏兵，王开林大败，陈明南战死。

同时，李世贤出奇兵，从小道进攻景德镇，守将湘军将领陈大富镇守，最终陈大富兵败投水自尽。左宗棠见景德镇丢失只好率兵退守乐平。李世贤迅速调兵进攻乐平，左宗棠高挂免战牌，坚守城池不出。左宗棠见太平军心生倦怠，立刻出兵突袭，将李世贤击退20多里。

3月30日，李世贤率领大军“十万”（太平军经常虚报人数，以吓唬对手）进攻乐平。实际太平军人数大约为三万到五万之间，即使如此，也是城中左宗棠5千人的数倍。李世贤主攻城东北到城西一线，眼见城池不保，左宗棠突然分三路主动出击与太平军短兵相接，左宗棠和刘典居中，西边是王开化，东边是王开琳。

李世贤万万没想到左宗棠竟然敢主动进攻，一时慌乱，顷刻间大军溃败。打仗前军知道敌情，而后军却不知道阵前形势，见前军溃退，顿时惊慌失措。前后军互相踩踏，李世贤领导不利。此役，李世贤损兵5000多人，率部队退往浙江，左宗棠趁势迅速占领浙江西南大片地区，到了8月份攻下了浙江重镇绍兴，10月份攻占宁波、台州。

见浙江只剩下了杭州、衢州、温州、湖州等几个战略据点，经过政变上台的慈禧太后，立刻命令左宗棠驰援浙江。早在李世贤占领浙江西南地区的6月，晚清政府就曾调左宗棠入浙。因江西战况危急，曾国藩拒绝调走左宗棠。而到了11月份湘军已经占据有利地位，因此，曾国藩并未阻拦并在12月份提请左宗棠为浙江巡抚。

左宗棠此时的楚军已经达到了8千人，与此同时，请调浙江布政使蒋益澧、湖南总兵刘培元来助，并要求二人各募3千。二人到达后，左宗棠命刘培元组建水师，左成为楚军水师统帅。就在左宗棠势力越来越强之际，他的好朋友胡林翼却因病而亡。

1861年8月的安庆会战以湘军胜利告终。26日胡林翼因肺结核病逝，湘军铁三角就此完结。左宗棠因为身在军中不能前往吊唁，特写祭文一篇，文中泣曰：“交公若年，哭公暮齿。自公云亡，无与为善，孰拯我穷？孰救我偏？我忧何诉？我喜何告？我苦何怜？我死何吊？追维畴昔，历三十年，一言一笑，愈思愈研有酒如兹，有泪如丝，尽此一哀，公其鉴兹。”