1901年，18岁的阎锡山考入山西武备学堂，成为第二期学员。武备学堂作为清政府培养陆军军官的学校，待遇是相当优厚，无须交纳食宿、学费全免，而且学员每月发三两银子。他入学后格外勤勉，学习刻苦，操演用功，不敢稍有懈怠。学习期间，各科成绩均为优等，国文一门居同期学生之冠！
1904年，在武备学堂一晃就过去了三个年头，毕业在即。21岁就在阁锡山适逢一个百年不遇的出洋留学机会。
原来，清政府为加紧培养一批具有西方近代知识技能的军事干部，决定从1904年起逐年增加公派日本学习军事人员的名额，并责成各省武备学堂根据分配名额推荐学生。
这一年，山西武备学堂分配到了整整20个名额，其中由清政府承担公费者3名，由省承担公费者17名。自国门渐开以来，山西虽也偶有外出留学者，但大规模地公派成批学生出洋却是前所未有的。
出洋留学生的推荐一般以学生在学校的表现作为依据。间锡山以其优良成绩和出色的口碑自然成为出国人选，并成为3名清政府承担公费者之首。
1904年7月，阎锡山一行由太原出发、经天津转乘日本轮船漂洋过海，前往亚洲强国日本。
阎锡山到日本后，先入东京振武学校。振武学校作为日本土官学校的预科，是专门为中国留日学习军事的学生设立的，始设于1903年。
在此之前，中国留日学习军事者，由日本陆军部委托成城学校实施预备教育。后鉴于留日学生逐年增加，成城学校遂改名振武学校，专办训练中国陆军学生事宜。
从中国来的这一批学员都是各省武备学堂所推荐，已具备了初步的军事知识，所以在振武学校，主要是学习日语和一些必要的现代科学知识，为下一步进入士官学校学习军事专业知识打好基础。
阎锡山在振武学校修业2年后，于1906年秋转入日本弘前步兵第31联队实习。弘前步兵第31联队的实习期限为一年。
此时，阎锡山已经加入了孙中山领导的同盟会，为了将来回国参加革命的需要，他在完成规定的科目之外，潜心研究近代兵书，并动手撰写教义，草成《革命军操典》和《革命军战法》两本小册子，前者注重军队编制之革新;后者侧重夜战。
1907年夏，实习期满。暑期过后，正式进入士官学校。士官学校是日本政府培养陆军军官的专门学校，1868年创办。
士官学校正式接收中国学生始于1900年，阎锡山系士官学校中的第六期中国学生。
1909年，阎锡山26岁，这年3月，他结束了日本士官学校的学习，准备回国，一展抱负，以偿夙愿。
1909年4月，阎锡山学成返里，回到山西。为了完成孙中山交给的在北方军队中发动革命的任务，阎锡山审时度势，为自己选择了一条审慎而便捷的道路，这就是从上层入手，先站稳脚跟。
晚清时期的惯例是，军校毕业的学生，尤其是留洋学军事者，一般不直接到军队中任职，而是先在军事教育机关担任教练员一类的虚职。
这样，回到山西后，阎锡山没能直接带兵，而是被任命为武备学堂教官（后改为陆军小学）。军事教官作为军中的文职人员，虽有一定的地位，但却不能直接与军队接触，不便于掌握军队。而掌握不了军队，又怎么“发动革命”?于是，为了得以掌握军权，他开始实施自己的行动计划。
当时的山西军队分为新军与旧军两部。新军为一个混成协(旅)，下辖步兵两标(团)，骑兵、炮兵各一营，工兵、辎重兵各一队(连)，全协共约4000余人，驻于省城太原。旧军为巡防队13个营，虽有约4000人，但大多分散各地驻守。
新军作为正规部队，不仅装备较好，而且又常驻省城，是当然的骨干力量。新军的首领是姚鸿发，可谓是大权在握。这姚鸿发也是个官二代，他的父亲姚锡光官居清政府陆军部侍郎。
心思缜密、经验老到的阎锡山回国时，在路经北京时即以山西学子的身份拜访了那位姚侍郎，言谈举止颇得姚之赏识。侍郎随后即修书给其子姚协统，予以引荐。
由于父亲推荐，姚鸿发对阎锡山一开始就另眼相看。
在结交姚鸿发的同时，他还利用各种关系设法攀附上了山西咨议局议长，甚至登堂入室做了山西巡抚丁宝铨的门生。
经过这一顿关系操作，展现了阎的人情练达和世事洞明的特质，当然，他的能力和工作也得到到了各级的肯定。
不久，犹如开挂一般，他仅仅当了三个月的教官，即被提升为校长。当年11月的秋冬之际，他到北京参加了清政府组织的留日学生会试，以其优异成绩名列上等，取得了步兵举人的名分。被授予协军校的军衔。
紧接着又是利好的消息，清政府通令各省，此后新军协统以下军官须以学生或带过新军者充任。这为阎打开了方便之门。
会试后，1909年12月，清政府陆军部整编新建陆军，山西新军编为暂编陆军第四十三协（旅），下辖第一、二两标（团）。阎锡山被任命为第二标教练官（相当于副团长）。
在这次整编中，阎锡山虽得以踏入新军之门，但屈居副职，与实际掌握军队的既定目标尚有一定距离。因此，下个行动计划就是设法当上第二标标统（团长）。
换句话说，革命党人如欲在山西执掌军权，就必须发动一场倒旧军官的运动。阎锡山等同盟会员通过在《晋阳日报》上制造桃色新闻赶走了第二标标统夏学津。原来，夏学津的老婆经常到巡抚门上走动，被阎等人发现，以起关系暧昧并指责其走可耻的夫人路线的丑闻。
紧接着，又抓住在山西发生的一起“文交惨案”，在北京的《国风日报》上连续登载揭露山西“纵兵擅杀百姓”的丑闻，引起了朝廷的重视，其结果是原第一标、第二标统领倒台。
这一下，阎锡山顺利接任第二标标统（团长），初步实现了掌握山西新军的目标！