还是在安庆的时候，李鸿章就开始接触外国人的洋枪洋炮，还有那些威力无比的远洋战舰与船队。到达上海之后，李鸿章不无惊异地发现，堂堂大清上海的防卫力量，竟是由英国人、印度人、法国人组成的三千人的洋人军队。这支军队是由上海商人和绅士出钱养着的外国雇佣军。该军1860年正式组建，由美国人华尔出任指挥。1862年，被清政府命名为“常胜军”。这个华尔，后来还娶了杨坊的女儿，加入了中国籍。

“常胜军”的武器都是西式的来复枪和榴弹炮，李鸿章看着这些硬邦邦、冷冰冰的“利器”，不禁惊叹它们的神奇力量，并逐渐对这些“利器”产生了极其热烈的向往。为此，他还化妆成百姓，亲自到上海的外国军舰上参观。李鸿章在文章中写道：我观察我们中华民族和外国人的种种，包括历史、制度和文字等等方面，外国人唯一比我们强的就是他们先进的武器装备。如果我们中国人将来也有自己的先进武器，那我们就再也不用害怕外国人了。

由华尔所率领的“常胜军”连连挫败雄风依旧的太平军这一事实，使李鸿章深深地感受到了洋枪洋炮的巨大威慑力，同时也不得不生出空前的危机感。李鸿章明确提出：大清现在的大患是太平军，将来更长久的大患必是洋人无疑。所以他要求自己的军队不能依靠洋人，一定要“自强”，而最初的自强之道，就是所谓“讲求洋器”。

在李鸿章着手以“洋器”装备淮军时，首先遭到曾国藩的反对。曾国藩一向认为，用兵在人不在器，而且怀疑洋枪洋炮的作用是否有李鸿章说得那么厉害。李鸿章不便强烈回驳自己的恩师和统帅，只是在回信中委婉地表示，我是想学习洋人的一点儿“密法”，希望能增强淮军的战斗力。

在1862年5月给曾国藩的信中，李鸿章谈到世界历史说，以前俄罗斯和日本因为不知道大炮的厉害，所以国力日益衰退，自从他们从英法学到武器的制造术后，便逐渐能和英法比高下。除此之外，李鸿章日益感到淮军势单力薄。他考虑到从老家招兵不方便，所以除了在当地招募了一些新兵之外，把淮军主要来源放在改良以前的防军上。他还收编了一大批太平军的人马，用以扩大和充实淮军力量，而且收编的降军力量远远超过改编的防军。这是李鸿章有意采取“以毒攻毒”之策。

此时李鸿章还开始组建自己的水师。最早的淮军水师起建于安庆时期，那时候有五只大船。到达上海之后，李鸿章改编了上海旧的水师防军和苏嘉地区的部分船队，还有其他一些零散的力量。他还统率着淮阳水师和太湖水师。这样，李鸿章的淮军便达到了水军4万人，陆军7万人的规模。

最初李鸿章训练淮军，基本上也是按照以前训练湘军的那一套办法，特别是每天要带领士兵唱“爱民歌”，这都是曾国藩的创意。湘军虽然拥有洋枪洋炮，但是很少使用。李鸿章则请洋军官进入淮军大营，帮助实际操练，让士兵学习洋枪洋炮的使用方法。从此以后，淮军这支湘军中最早的分支部队，开始和湘军有了诸多的差别。李鸿章就率领着这样一支队伍，开始了对太平军更猛烈的进攻和更疯狂的剿杀。