李鸿章和洋人打交道是从他到达上海之后便开始的。1862年9月，“常胜军”的第一任头目华尔被太平军打死，引发了由谁来继任的问题。英侵华海军司令何伯向李鸿章推荐了华尔的副手美国人白齐文。李鸿章多方周旋提出条件，“常胜军”属于中国的军队，要由他统一调遣。不久，李鸿章派白齐文去援助南京的湘军，可是白齐文却不听命。

白齐文不敢和李鸿章直接作对，便拿在松江的道台杨坊出气。他跑到杨坊家里，将他毒打一顿，同时将杨府中搜到的四万块洋银抢劫一空。白齐文干了坏事自觉理亏，逃到英国军队中隐匿起来。曾国藩对李鸿章援军未至一事倒不怎么在意，因为他要求增援只是想招回程学启部。至于“常胜军”，曾国藩说过这么一段话：“‘常胜军’不来南京没什么不好，来了倒没有什么好处！”李鸿章却对白齐文不听调遣、殴打朝廷命官且入室抢劫之事不能容忍。当然，这种棘手之事老奸巨猾的李鸿章不会亲自处理，他令吴煦限期将白氏捉拿归案，要求“常胜军”转由中国官员接管，外人不得干涉。英国军队见李鸿章真动了怒，觉得不便为一个白齐文破坏中英两国关系，决定交出白齐文。然而，英国驻华水师司令迪佛立与白齐文私交甚笃，强硬坚持不肯交出白齐文。李鸿章决心以此为突破口，改组“常胜军”。李鸿章改组“常胜军”主要有两个目的，一是削减“常胜军”的经费，将钱省下来发展淮军；二是收回“常胜军”兵权。无理也硬三分的英国人当然不会同意李鸿章的改组方案。英国政府任命戈登为新任“常胜军”统领以取代白齐文。

戈登的到来使李鸿章心中着实“咯噔”了一下。他意识到英国绝不会轻易放弃“常胜军”领导权的险恶用心，不能与其硬碰硬。李鸿章遂托人调查戈登的底细，得知戈登出身于军官世家，对军事地形学和步炮联合作战有精深的研究，性格弱点是爱慕虚荣、贪财。戈登一到中国，便受到李鸿章的热烈欢迎。

戈登来中国之前听说李鸿章是一个铁腕人物，将前任吓得躲在军舰里不敢出来，早已做好应对的心理准备。但见到李鸿章后，戈登改变了看法，他在给英国政府发去的公函中极力称赞李鸿章，称其是中国最杰出的军事家和政治家，为人正直、思想先进，热心发展西方军工业，我们英国政府不但不应与之作对，而且应全力帮助支持。

戈登和李鸿章最初的合作还不错。可是，由于“苏州杀降”一事，导致戈登对李鸿章极为不满。事情经过是这样的：

在戈登和郜永宽等人私下交易之后，戈登自认有功，要求李鸿章给常胜军发两个月的恩饷，并威胁李鸿章说如果不给，就要辞职。李鸿章回答说他会考虑。然后，戈登去看望苏州城中的郜永宽等人，郜永宽表示对戈登的安排很满意。后来，戈登听说李鸿章只答应给一个月的恩饷时，他就真的开船准备走了。戈登刚刚走出城门，就听到有枪声，他感觉很奇怪。有人告诉他说，李鸿章不允许郜永宽他们保留旧部，在派人鸣枪示威。戈登感觉事情不妙，于是派人去抓李鸿章。可是他没抓到李鸿章，自己反而被淮军扣留。第二天早晨，戈登得知郜永宽等人已被李鸿章杀掉！戈登怒不可遏，他觉得李鸿章不但不给恩饷，还在郜永宽等人的事情上把自己给玩弄了，大英帝国军官的颜面往哪里放？他气急败坏地拿着一只手枪到处寻找李鸿章，说要杀了他。之后，戈登提出要李鸿章辞职，把李鸿章交由北京政府审判，否则，就要率领“常胜军”把淮军已经收回的地方再夺回来，交给太平军。

李鸿章派出“常胜军”的军医即后来帮助李鸿章兴办洋务的马格里出面调解。英国也派人做李鸿章的工作，要求李鸿章给戈登写道歉书，被李鸿章拒绝。后来李鸿章拨给“常胜军”7万两军饷，又派出朝廷新任命的海关总税务司英国人赫德前去调停。赫德的前任、英国人李泰国因为和李鸿章作对，没有落得好下场。戈登听了赫德的话，想想自己离开“常胜军”之后也是没有更好的着落。于是，他又回到了“常胜军”。

此后，戈登和李鸿章的关系一直不错。戈登还多次对人夸赞李鸿章，说他是个有头脑的军事家。1863年，淮军攻打常州。常州将领吸取苏州的教训，拼死守城，不肯投降。李鸿章请来戈登协助，戈登用大炮轰开了城门，协助淮军收复常州。由于戈登事先没有征求英国官方的同意，英国感到难以控制“常胜军”，英国驻军司令伯郎向英国政府提出解散“常胜军”。上海防务由驻沪英军承担。

李鸿章虽有思想准备，却万万没料到英国会同意解散“常胜军”。机不可失，李鸿章当即宣布解散“常胜军”。李鸿章一宣布此消息，英国人倒不满起来。驻华领事巴夏礼发出照会，称解散“常胜军”一事只有英国公使方可办理，李鸿章无权作出决定。李鸿章深知英国人的脾性，如果错过这次机会，想彻底摆脱“常胜军”就困难了。戈登又犹豫不决。李鸿章知道戈登一向好名，便以躲在军舰中的白齐文为例，晓以利害，告诫戈登，人生在世名声最为重要，不要为别人的利益把自己给毁了。李鸿章派出丁日昌劝告戈登要吸取白齐文被解职的教训，说“常胜军”现在名声不好，你留在这里对你的名誉也有影响，你要为自己考虑。李鸿章迅速筹集遣散费19万两（超出3万两），全部交给戈登。只留下炮兵600人和洋枪队300人，外国教官11人，其余全部解散。戈登拿着钱，还得了清政府颁发的提督荣誉军衔，风风光光地回英国去了。事后，曾国藩赞叹李鸿章居然能够驾驭外国人。