中日甲午战争后李鸿章辛苦组建的北洋海军全军覆没。而马关条约的签订，更让李鸿章成为了众矢之的，社会上掀起了惩办李鸿章的社会舆论，似乎甲午之战的失败是其一手促成的，不杀不足以平民愤，不骂不足以显爱国。
其实李鸿章内心并不赞成签订马关条约，在签约前曾同幕僚表示：“万一谈判不成，只有迁都陕西，和日本长期作战，日本必不能征服中国，而中国可以抵抗至无尽期。日本最后必败和。”而是光绪皇帝最后指示其： “即遵前旨与之定约”。
所以光绪皇帝还算明白李鸿章只是背锅，1895年5月11日，皇帝发布诏谕，表示“条约已签，再无讨论必要”，强行终止了对此事的讨论。不过李鸿章还是被解除了位居二十五年之久的直隶总督兼北洋大臣职务，投置闲散。
李鸿章失势后，北洋海军的管理机构海军衙门被裁撤，北洋海军中幸存的将领们因为曾主动向日投降，于是纷纷被开缺回到原籍，原定的北洋海军的预算经费也挪作他用，整个大清王朝只能依靠装备较差吨位较小的南洋海军来防守漫长的海岸线。而且当时日本海军驻扎在威海、旅顺等军港，号称是监督清政府的赔款情况。所以当时北方的海域只能说是有海无防，完全是敞开的。
直到1895年底，在清政府赔付了前两期赔款后，日本从中国北方各军港撤军，清政府重新获得了威海、旅顺等港口的控制权，但当时清政府在马关条约赔款的压力下没有资金重建北洋海军，只能先从南洋海军和福建水师中划拨舰艇五艘，并接收修整原船坞和炮台。
直到1896年稍微缓了口气后，清政府才有精力和资本开始重建，重新大量起用原北洋海军将领，组成新海军的班底。
再建海军需要有船，新北洋大臣王文韶曾提出雄心勃勃的三千万两白银重新购置主力舰计划，但这笔开销显然不是战后的清政府能够支付出来的，针对当年甲午海战中北洋舰队吃的亏，清政府决定改以巡洋舰为核心重建海军。
1896年，清政府分别向英德两国发出订单，采购“海天”、“海圻”、“海筹”、“海容”、“海琛”五艘巡洋舰来构成清末海军主力，其中前两艘海天和海圻是完全按照日军“吉野”号巡洋舰的标准采购的同类型舰，后又向德国订购了四艘最新型的鱼雷艇，并向国内的福州船政局也下了订单，建造“建威”、“建安”两艘驱逐舰，以此为基础开始恢复了部分北洋海军的实力。
1899年5月在向海外订购的六艘军舰都已到货后，清政府下令宣布重建北洋海军，任命原北洋海军副将叶祖珪为主将提督，萨镇冰为副将，统领新的舰队。重开福州船政学堂，招收海军学生，并再次向欧美派遣留学生学习先进的海军指挥技术和经验。
但就在北洋海军试图重振荣光之标，1900年义和团运动爆发，庚子国难开始了。而新建的北洋海军在这期间的表现不但让人大跌眼镜，此后的表现也是反骨不断。
当时八国联军组建的舰队以救援在北京租界内的外交人员为借口，炮击大沽炮台，从天津登陆试图进攻北京。
此时北洋的五艘新购战舰就就在大沽港口附近检修和休整，清政府要求北洋舰队出港迎战，但北洋海军提督叶祖珪却乘海容号战舰前往英军舰队锚地讲和，最终大沽口一战，北洋海军一炮未发，坐看联军舰队长驱直入，还让英军直接掠走了在船坞中修理的“海龙”“海犀”“海青”“海华”四艘驱逐舰。
此战中海军的不听指挥，让清廷对其大失所望，对海军彻底丧失信心。甚至曾有卖掉所有北洋舰船来偿付庚子赔款的动议，虽然此议最终作罢，但此后清政府除了勉强维持舰队运营外不再投入任何资金用于购置军舰，军费改为加强陆军建设筹建新军。
而且《辛丑条约》规定了包括大沽炮台在内的华北沿岸炮台一律拆除，所以李鸿章当年耗费三十年建设的渤海海防设施至此荡然无存，可以说在此以后清政府的近代海军梦彻底破灭。1909年清政府宣布北洋海军被改名为长江舰队。
1911年武昌起义发生后，清政府命令海筹号率剩余的三艘巡洋舰前往武昌镇压起义（海天号在1904年触礁报废，海圻号在美国访问），但该舰队到达武昌江面不久就宣布起义，并炮轰江北的清军火车站。
辛亥革命后舰队归属北洋政府海军，但这段时间在各个军阀和革命军间横跳不断，甚至在上海一二八事变中不但不支援抗日的19路军，反而和在上海的日海军进行友好交流访问，赠送粮食和蔬菜。
直到1937年抗日战争全面爆发后，最后剩下的四艘老旧军舰为防止日海军沿江而上集体自沉于江阴航道。