日军在攻占旅大之后，准备进行威海卫战役，但由于威海卫军港正面设防十分坚固，不易攻取，于是决定选择清军防御薄弱的荣成湾一带登陆，从侧后夺取威海卫。而清军方面，因辽东半岛溃败，清政府责怪李鸿章救援不力，下诏将其革职留任，命他亲赴大沽、北塘等处巡视、布置。同时，把兵力多调到辽沈，而忽视山东半岛。结果，京都多达200余营，近10万人，而敌人进攻重点山东半岛仅40多个营，不到2万人。特别是荣成方向，兵力最弱，仅4营1400多人。鉴于威海卫后路兵力单弱，守将戴宗骞曾经向李鸿章建议采取“虽布近局、仍扼外险，宁力战图存，勿坐以待困”的战守之策，但李鸿章仍坚持采取单纯防御方针，使得陆岸守军只好坐等敌人来攻，海军舰只则被降为要塞的活动炮台或辅助炮台，完全失去了舰队所具有的机动性能，为日军全歼北洋舰队提供了条件。

1895年2月2日，威海卫失陷。统帅丁汝昌早已做好与北洋舰队同存亡的准备。丰岛海战后，他将儿子丁代禧留在身边，儿媳张氏和孙子丁旭山送回原籍。临行前他交代张氏：“我的生命已交给了国家，你一定要照看好我的孙子！”刘公岛保卫战开始后，丁汝昌向李鸿章表示：“唯有船没人尽而已！”丁汝昌派人将鸦片送到船上，以备如果不能战死就服毒自尽。为防止受伤军舰落入敌手，丁汝昌用广丙舰的鱼雷炸沉了已搁浅的靖远舰，又在定远舰中部装上火药，将其炸毁。定远舰管带刘步蟾吞鸦片自尽，实践了“舰队亡则人亡”的誓言。丁汝昌向广大官兵许诺的最后一天终于来到了。傍晚，丁汝昌收到李鸿章的电报，上面写着“援兵无期”！

最后的希望破灭了。深夜时分，水陆兵民万余人向他哀求活命。丁汝昌叹口气，道：“与军舰同生死是我的职责。但我的死可以救你们的命。”他向大家暗示自己死后可投降日军以求活路。并交代部下牛昶昞销毁北洋水师的提督印。丁汝昌服下事先准备好的鸦片，次日清晨气绝身亡。

牛昶昞等推举杨用霖出面与日军接洽投降事宜。杨用霖当场严词拒绝，口诵“人生自古谁无死，留取丹心照汗青”的诗句走入船舱，饮弹身亡。护军统领张文宣同时自尽。美国人浩威建议以丁汝昌的名义投降，牛昶昞在投降书上盖提督大印。几人将责任推到丁汝昌身上。可怜丁汝昌死后蒙羞，家产全被没收，子孙流离失所。直到宣统二年（1910年），在威海商民联名提议下，方由袁世凯上奏为其平反昭雪。

北洋舰队尚存的10艘舰船和刘公岛各炮台军资器械，全部为日军所掳。

1895年2月17日，日本舰队徐徐驶入威海港。中国镇远、济远、平远、广丙、镇东、镇西、镇南、镇北、镇中、镇边等10艘军舰换升日本国旗。只有康济舰仍悬挂黄龙旗，载送着丁汝昌、刘步蟾、杨用霖等6人的灵柩。下午1点，10艘中国军舰全部编入日本舰队。4点，康济舰在汽笛的哀鸣声中，冒着潇潇冷雨，凄然离开威海。

至此，李鸿章经营了十多年的北洋海军全军覆没了。此时，李鸿章也结束了权倾朝野的日子，不仅朝廷对他不再宠信，在文武百官以至百姓中，他也威信一落千丈。甲午战争，北洋海军的全军覆没，是李鸿章大搞洋务的终点。

北洋海军自1875年开始筹建，1888年正式成军，它不幸在第一次中日战争中为日本海军完全摧毁，李鸿章的努力付之东流，同时也使中国丧失了制海权。北洋舰队的毁灭，可以部分归咎于清政府、李鸿章所采取的消极防御战略，但北洋海军本身存在的若干缺点也不容忽视。首先制度上含混不清：北洋海军名义上隶属于北京海军衙门，但实际上却归李鸿章节制。李鸿章此时已成为全国督抚的领袖，集内政、外交、洋务、海防于一身。在19世纪80年代末、90年代初，他忙于应付每日遇到的政治问题，以致不能对北洋海军诸多问题给予更多注意；其次，指挥系统不清：由于李鸿章未能经常顾及海防，北洋海军由丁汝昌负责。但丁汝昌未受过海军正规训练，因此他常为部下所轻，他们大多数人是由中国水师学堂毕业。另外，北洋舰队中的外籍军官有的傲慢自负，要求过分。这些外国军官和中国军官之间关系紧张，时有冲突发生，它导致北洋海军进一步衰败和腐化；第三，经费不足是一个严重的问题：最初海防经费预算每年200万两，但从未如数收齐。北洋海军改隶于海军衙门以后，舰队每年预算减至不及130万两。

最糟的是1891年4月，户部建议停购舰上大炮、裁减海军人员。这些建议得到朝廷准许。这使舰队及其装备的更新成为不可能。以上北洋海军自身所存在的弱点以及甲午中日战争中李鸿章一贯主张“防御”的方针，导致了北洋舰队在中日甲午战争中被日军全部歼灭。