咸丰三年七月，湘乡勇刚到南昌，驻扎得胜门外，遭到太平军猛击，减员至一千一百人，随后划分为中营与右营，已在前面叙过。李续宾因援助江西立下战功，得旨以府经历补用。他得到的是一个正八品的官衔，比知县小了一截，但比他买的那个从九品又强了不少。当年十月，骆秉章将湘乡勇从江西调回湖南剿匪，李续宾的部队以大小十一仗将土匪肃清，随后驻扎衡州。

值得注意的是，到此时为止，由李续宾创建、罗泽南统带的湘军，尚未纳入曾国藩的指挥序列，而是由湖南巡抚供饷并调遣。骆秉章正式任命罗泽南为湘军统领，任命李续宾为总营务。罗的职务相当于司令员，李的职务则可视为副司令兼参谋长。两人的月俸都是两百两银子，并无高低之分。

咸丰四年（1854）的第一季度，曾国藩率领一万七千人的水陆大军从衡州大举北进，他的麾下没有罗泽南和李续宾的湘乡勇。若将曾国藩此时的部队号为湘军，确实有些勉强，而且与罗李的湘军重名。那时罗泽南驻扎衡州，李续宾率部去郴州与衡山攻打会党，而曾国藩则推进到了岳州一带。所以，王錱败于羊楼司，曾国藩败于岳州，损兵折将，丧失战船，与罗李二人毫无关系。

其后，曾国藩发兵攻打湘潭，陆军是塔齐布的部队，罗李湘军也未参与。曾国藩的战船向下游攻击靖港，被太平军重创，罗李湘军也无瓜葛，他们未能目睹曾国藩欲投江自尽的惨状。如果说李续宾跟湘潭之战有什么关系，那是在彭玉麟率水师烧毁湘潭市肆以后，太平军向北边撤退，李续宾当时驻扎在炭荡，将民船全部收集起来，使太平军无法渡江，只得逃往下游的靖港，然后撤向岳州。李续宾随后驻军长沙，骆秉章为了奖励他们，给士卒增加月饷银两，每人六钱。李续宾与罗泽南提出每营使用一百八十名长夫，每天每人发银一钱，骆秉章也同意照办。

曾国藩在初次出征时过于重视水师的作用，陆师只用了塔齐布的五千人，未将罗李湘军列入北进序列，也许是一个极大的失误；他在最初阶段将水师与陆师分开使用，就更是大错特错了。由此而导致的一系列失败，促使曾国藩反省了自己的失误，而且马上着手纠正。

咸丰四年六月，太平军第二次攻陷武汉，湘北随之吃紧。曾国藩经过休整，决定再次北征。这一次他把罗泽南和李续宾所部调入了自己的陆军，令他们与塔齐布所部合攻岳州。从这时开始，李续宾的建军事业进入了第四阶段，其特征是进入了曾大帅的编制，并且在湘军的北进东征中担任陆军先锋，不断壮大湘军的实力。

罗李湘军加入北进序列后，陆军势如破竹，很快就把太平军赶出了岳州。在随后两个月的战斗中，湘军右营打出了威风，太平军一见李续宾的白色军旗便会惊惧万分。李续宾战功卓著，先后升为知县、同知。

八月中旬，曾军开始进攻武昌。曾国藩的僚佐提议不管武汉外围的敌军，只要一举夺得武昌就行了。李续宾马上反对，指出敌军以劲旅据有城外险要，城内只留弱兵几千，肯定是有意引诱官军攻城。如果官军骤然攻城，守军必然弃城而逃。这时官军会陷入两难的境地：守城则被敌军所困；如果不守，则武昌仍为敌军所有。正确的办法是立即攻破城外敌军据点，那时武昌城将不攻自破。

曾国藩采纳李续宾的意见，派罗李湘军攻破最坚强的城外敌垒。果然，武汉两城敌军自动撤走。李续宾攻破坚垒，制敌死命，咸丰皇帝特赐孔雀翎，将他以直隶州知州升用。

罗李湘军虽然名义上是罗泽南任司令员，但罗司令将作战的所有部署与指挥全部交给李续宾负责。曾国藩很清楚其中的内幕，他在李续宾死后为之撰写的神道碑铭中有言:“其战守机宜，胥公主之。”

曾军攻占武汉后，李续宾就劝曾国藩立刻将陆军增加到一万八千人，分为两路，由塔齐布和罗泽南各领一路，从长江南北两岸乘势东下，使太平军没有还手之力。曾国藩担心没有饷源，李续宾又劝他奏请朝廷派专人负责筹饷，一定要把军力增强。

曾国藩没有完全采纳李续宾的提议，虽然他决定立即开始东征，但没有打算扩增陆军的兵力，因为湘军正在得势之时，水师已被证明为压制太平军的利器，他看不出有什么必要大量增加陆军。他把长江北岸的攻击任务交给了湖广总督杨霈，令自己的陆军沿长江南岸推进。他这种部署看似周密，实际上留下了很大的隐患。湘军在获得赖以一举成名的田家镇大捷以后，立即感到了北岸兵力空虚，拖了东征的后腿，因为杨霈的官军没有积极推进。于是湘军只好渡江去打北岸的太平军，这样就暴露出陆军兵力严重缺乏的弊端。等到湘军推进到九江城外的时候，由于忽北忽南，两线行军作战，陆军已经疲惫不堪，失去了锐气。

曾国藩看出了李续宾早已指出的问题，把胡林翼从湖北调来九江会师，增加两千陆军，但这点兵力还远远不够。偏偏彭玉麟此时有欠冷静，不肯稍事休兵，急不可耐地派水师机动部队攻打姑塘，结果水师小型船队被太平军关在鄱阳湖内，与长江的大型战船分隔，这就是胡林翼后来总结的“雪琴之躁”。太平军夜攻湘军大营，烧毁曾国藩的坐船，曾国藩侥幸逃生，来到陆军营中。

幕僚刘蓉有心挽回败局，献了一计，建议乘敌军过年没有防备，集中兵力攻打湖口，以解救陷入内湖的水师，这就是胡林翼后来所谓的“霞仙之狂”。水师认为陆军中营战斗力太差，主张用右营与塔齐布所部参战。曾国藩轻信刘蓉，不知太平军不过中国的传统春节，批准了这个方案。

陆军将士已经十分疲惫，不愿在过年时作战，李续宾了解官兵的想法，提出反对意见。此事议了三天，曾国藩决定还是要战，按照胡林翼后来的总结，此为“涤帅之误”。

大帅做了决定，李续宾只好执行。十二月二十八日晚间，他召集百夫长开会，发布战斗动员令。部队于第二天渡到江北。大年三十傍晚，李续宾与塔齐布带一千人开往湖口，将士刚刚出营，便有军官扬言：“老子正在炖鸡煮饭，要休息一日，是谁要败老子的兴致？老子今天要故意打个败仗，让他自取其辱!”于是领兵回走，李续宾与塔齐布禁之不止。太平军一见清军不战自退，连忙派出大部队来攻，把李续宾和塔齐布团团围住。千钧一发之际，坐骑从水面腾跃而过，将李续宾载出，才得脱险。李续宾夜宿民舍，房子的主人全部逃走了，李续宾度过了一个孤寂无声的除夕之夜，枯坐达旦。