编练新式陆海军和筹建海防是洋务运动的又一项重要内容。
从1861年起，洋务运动全力开始建设陆海军和海防，究竟是什么实力？洋务派在购买西式枪炮的同时，开始聘请英、法教官，采用西式阵法操练军队。1862年年初，奕诉等人在天津设立洋枪队，证聘外籍军官，在天津、大沽采用西法训练京营八旗等兵勇一千余名。随后，广东、福建、江苏、湖北、贵州、云南等省也按照天津练兵章程，训练洋枪队和炮兵。1864年，奕误等人在北京建立威远队，演练枪炮及西式阵法。1866年，奕诉等人又在直隶选练六军，共计一万五千人，称为“练军”。
练军
从1862年起，李鸿章利用上海的便利条件和充足饷源，以西式枪炮装备淮军，并雇用洋人教习，传授西洋枪炮和阵法。1865年年底，淮军由六千人扩充至五万余人，“尽弃中国习用之抬枪、鸟枪，而变为洋枪队”，并设炮队四营。淮军成为当时装备较为精良、战斗力较强的一支军队。与此同时，左宗棠所部湘军也开始装备洋枪，并在1863年创建洋枪队。1867年进军西北后，左宗棠派人驻上海采购外国枪炮，又先后在西安、兰州设局制造军火，使该部湘军装备西式枪炮的比例大幅增加，成为新式陆军的一支重要力量。19世纪80年代以后，以淮军为主力的新式陆军已遍布南洋、北洋数省和西北地区，逐渐取代了八旗、绿营等旧式军队，驻防各地，称为“防军”。
淮军
在编练新式陆军的同时，洋务派开始着手筹建新式海军。1861年7月，奕诉、文祥等人奏请购置西洋船炮，建立新式水师。根据广东海关副税务司赫德的建议，清政府委托正在英国休假养伤的总税务司李泰国(Lay Horatio Nelson)向英国订购兵舰。次年，英国海军上校阿思本(S.Osborn)率舰抵华，要求完全掌握舰队的指挥权。清政府严词拒绝，决定将舰队解散，革去李泰国的总税务司职务。阿思本事件使清政府蒙受重大经济损失，空耗白银约九十万两。洋务派购买船炮以建立近代化海军的初次尝试失败后，开始关注自造船舰和整顿水师的海防活动。这一时期，清政府着力设厂造船，筹设海防和编练海军还无力付诸实践。
1874年，日本派兵侵略中国台湾和东南沿海。这在朝廷内外引起极大震动，海防之议由此兴起。为防御日本等国再次入侵，许多官员要求购买西方铁甲战舰、水雷等先进武器，建立海军，加强海防。经过半年多的讨论，清政府于1875年5月任命沈葆祯、李鸿章分别督办南、北两洋事务，筹备海防，创建近代海军。同时每年由粤、闽等海关及江、浙等六省厘金项下拨解四百万两海防经费，计划在十年内建成南洋、北洋和粤洋三支海军。但因各省拨款多不足额，海防经费短缺甚多，清政府决定优先发展北洋水师，筹建事务主要由李鸿章负责。1879年，李鸿章在天津设立水师营务处，主管海军日常事务，并调派淮军提督丁汝昌主持北洋海军。
1881年，又奏准任命丁汝昌统领北洋水师。
1884年，福建、南洋、北洋水师初具规模。福建水师受闽浙总督节制，拥有十一艘舰船，绝大部分由闽局制造，负责防卫福建、广东海域；南洋水师受两江总督兼南洋海防大臣管辖，拥有十八艘舰船，大多为闽、沪二局制造，也有少数购自德国，负责防卫江苏、浙江海域。北洋水师受直隶总督兼北洋海防大臣管辖，拥有十四艘舰船，大多从英国、德国购进，负责防卫山东、直隶、泰天海。其中以北洋水师实力最强，福建水师实力最弱。总体而言，三支舰队在兵船质量、吨位、行速上，与西方国家存在较大差距。加之北洋水师由李鸿章把持，南洋水师受湘系大员控制，各派系间互不统属，畛域分明，使三洋水师整体实力大打折扣。
马江布阵图
在1884年的中法马江海战中，福建水师在毫无准备的情况下遭受法军袭击，几乎全军覆没。战后虽然有所增补，但难以成军。
中法战争后，海防之议再起，清政府决心“惩前毖后，自以大治水师为主”23。1885年，批准成立总理海军事务衙门，总管海军和海防事宜。又任命奕嬛为海军衙门总理大臣，奕励、李鸿章为会办，具体事务实际由李鸿章主持。至此，海军正式成为国家军种之一，北洋海军也进入一个新的发展时期。李鸿章从英、德等国先后购买铁甲船、新式快船及鱼雷艇十四艘，修建旅顺、威海卫两大军港，营造船坞，修筑沿海炮台，并聘请外国教习训练水师官兵。
1888年，北洋海军拥有舰船二十五艘，总排水量三万九千吨，在远东首屈一指，舰队驻泊、训练、编制和后勤保障也已成制。同年12月17日，清政府正式批准《北洋海军章程》，阵容庞大的北洋舰队组建成军，近代海军已成规模。但是，新式海军的建立并没有为清政府的海防事业带来转机。
北洋海军致远舰
自1888年起，为庆贺慈禧太后六十寿辰，海军衙门将每年四百万两的海军军费大部分挪用，用以修缮颐和园，致使海军建设停滞不前，北洋、南洋等地无力添置舰船和更新设施，装备日趋落后。与此同时，北洋海军内部矛盾重重，战事训练和管理十分松懈，追逐私利、贪图安逸的腐败风气也日益加重。北洋海军将领以闽籍居多，因地域关系，他们往往自成一派，排挤非闽系官兵，致使内部号令不行，指挥不一。在日常操练中，大部分将领虚与敷衍，“无事之秋，多尚虚文，未尝讲求战事”。散漫、轻浮作风越演越烈，将士离船嬉戏，“晚间住岸者，一船有半”。这严重影响了舰队的战斗力，最终导致北洋海军在中日甲午海战中惨败。