抗日战争胜利后，所有侵华日军都被要求退出中国，然而部分侵华日军仍不肯相信自己的国家战败，以种种形式残留在我国的北京、长春、上海、青岛、杭州、汉口乃至海南岛等地。
对于这些残留日军，我党是极力主张清除出中国的，但国民党部分人却不这么想，他们忘记了深仇大恨，私自将这些日军留下了，或为自己训练部队，或是整编成军帮他们打仗，在解放战争期间，这些残留日军帮助国民党军队与解放军作战，在其中扮演了极不光彩的形象，其中山西残留下来的日军就是一个突出的典型。
早在1945年5月，德国柏林被盟军攻克后，侵华日军就预感到了他们的末日，而被他们侵占的东北和台湾等地都将归还，这让很多负隅顽抗的日本人心中不甘，当时摆在所有侵华日军面前的有两条路，其中一条是温顺地放下武器返回日本，另一条路就是偷偷留在中国以图东山再起。
面对抉择，大多数日军都选择了第一条路，然而时任日伪山西省政府顾问辅佐官城野宏、日军山西派遣军参谋长山冈道武、参谋岩田清一等人却选择了后一条路，主张留在山西等待时机。
然而留在山西并不是他们说了算的，还要“山西王”阎锡山配合才行，当时阎锡山也在酝酿着日军残留山西的问题，在1944年时，阎锡山就曾公开发表过意见，他说：“凡任何一国谋取政权的党团，在对外战争结束之前，没有不是借外力达成他所夺取政权之企图。”
这句话很明显地反映出了阎锡山的心思，而他收留侵华日军后所要考虑的也仅仅只是该如何平息舆论罢了。
1945年8月上旬，阎锡山在山西孝义县会见了日军派遣军参谋长高桥坦，首次对日本人提出了“寄武力于山西”的建议，要知道，他可是第一个正式向日本人提出这一建议的派系首领，这在当时可以说是冒天下之大不韪，阎锡山之所以这样做主要有三点原因。
一是他知道自己的晋绥军战斗力较八路军来说有些弱，希望借用日本人来抢夺抗战胜利果实，并帮助他固守山西。
二是阎锡山曾留学过日本，深受日本帝国主义的熏陶，就连抗战爆发前，他还在不断吹捧日本军队以此激励晋绥军，还说什么“十万中国兵也抵挡不了一万日本人”，正是这样的思想作祟，他才主张留下日军。
三是阎锡山自身是个亲日派，早在中原大战失败后，他就借日本人的庇护逃过一劫，如今看到抗战胜利在望，明白自己的态度对日本人来说是有利的，他们一定会支持自己。
因此在日本投降前不久，阎锡山主动提出了让日军继续留在山西的想法，两方一拍即合，这也促成了这件事，城野宏后来回忆：“残留山西的想法并非是在柏林陷落的一瞬间，突然出现在桌面上的构想，产生这种想法并逐渐成熟是因为存在着客观基础和有血有肉的具体条件。”
正如城野宏等人所预料的那样，苏联出兵东北，日本终于宣布投降，第二天，阎锡山就迫不及待地通过中间人向日军山西派遣军司令官澄田睐四郎等表示：“今后我们将充分援助你们。”
8月18日，山西省保安司令部副司令赵瑞遵照阎锡山的指示，再次请求和日军合作，他找到城野宏说：“这次我被阎长官任命为省防军第二军军长，部队里的人都和您有很深的关系，因此请您一如既往地予以指导。”
几天后，阎锡山又让心腹大将赵承绶找到城野宏说：“这次日本的失败是政治的失败，而不是军事的失败，失败者的地位也只是暂时的，今后的问题是我们该如何团结一致抵御北方，我们希望能得到你们比以前更紧密的合作！”
赵承绶（右一）
八月底，阎锡山从晋西返回太原，途径平遥时，日军山西派遣军参谋长山冈道武前来迎接他，阎锡山交谈一番后要求山冈道武把正在平遥接受检阅的原日军山西派遣军直辖特务队樱部队送给他，山冈道武同意了。
回太原后不久，太原城内就多了很多滞留的日侨，阎锡山将这些“有志之士”召集到大礼堂，许诺道：“加入诸位能留在山西和我们合作，我们不但保证各位的生命财产安全，还会在经济上和生活上予以补偿和照顾。”
在阎锡山的不断交涉下，澄田睐四郎同意了阎锡山的方案，他对城野宏交代道：“今后要充分利用你长期积累起来的痛中国方面的关系，请好好干吧！”城野宏得到命令后立即对自己原来指挥的伪军发布命令，让他们“坚守”原占领区，等待晋绥军的接收，他亲自出马煽动了原山西保安司令部的高级官员们，许诺跟着阎锡山走，以前的事既往不咎。
从9月初开始，阎锡山就派遣赵瑞代表他和日本人就日军残留山西一事展开谈判，经过一个多月的谈判终于商谈好相关事宜。
1945年底，城野宏和岩田清一等拟定了对残留山西的日军整编计划，他们计划设立残留日军司令部，下辖九个步兵团和其他特务队、医院等共计一万五千余人，在他的计划里，要以这些人为骨干成立一支总兵力为六万人的作战部队。
其中第一部分是全部为日本人的作战部队，这一部分实力强，将作为尖刀存在，第二部分是以中国军人为基础，内部的司令官和基层军官都由日本人担任，以此带动提高部队战斗力，第三部分是全部为中国人，但由日本人训练。
1946年1月中旬，大规模的日军残留武装开始亮相，从日军各个部队中挑选出来的愿意滞留中国的“日侨”开始在太原汇集，这让阎锡山心中又有了底气。
数天之后，阎锡山在太原城外举行了“光复纪念”阅兵式，山冈道武穿着日军制服和赵承绶一起站在阎锡山的身后，一部分日本军队也参加了这次阅兵，阎锡山讲话完毕后，赵承绶带头高呼“中华民国万岁”，紧接着又高呼“大日本帝国万岁”，等下的晋绥军和日本兵纷纷高呼，这一幕让城野宏震撼不已，二十多年后回忆起这一幕他仍然不可思议。
当时抗战刚刚结束，晋绥军内部还是有部分人怀着拳拳爱国之心的，看到这一幕无比痛恨，但阎锡山威严已久，大家也是敢怒不敢言。
1946年秋季，残留日军在太原市体育场举行了棒球比赛，啦啦队狂热至极，公然打出了日本国旗，从重庆来的一名国民党军官发现这一幕后立即进入场内没收了国旗，训斥道：“战败者打出这种旗，简直是岂有此理！”
事后，日本人将这件事汇报给了阎锡山，阎锡山为了安抚日本人，立即命令部队将那名年轻军官抓住，还以“强盗和破坏秩序”的罪名驱逐出山西省，该军官回到国防部后控告了此事，国民党向阎锡山发函询问，阎锡山矢口否认，还说这名军官是因为盗窃被抓，为泄私愤才作出这种假报告的。
5月，军事调处执行部派遣人员到太原检查，阎锡山让残留日军躲到了太原城外伪装解散，等到调查组的人离开后又重新改编为山西保安总队，名义上归属赵承绶管辖。
1947年3月，保安总司令部更名为“山西野战军司令部”，三个月后又改编为正规军编制的“暂编独立第十总队”。
在此期间，残留日军确立了新的行动宗旨，进行更为严密的军事管理，这支部队拥有独立掌握作战指挥、人事任免、福利待遇、武器给养等权力，办公处被他们命名为“复兴楼”，其含义可想而知。
保安总队下辖五个步兵团和大同总队、特务营、工兵营等共计9726人。此外，日军还组建了“机甲队”共有1556人，其中有原侵华日军官佐188名。
在阎锡山的授意支持下，残留日军和日侨还办起了教育，所有入校的学生都要接受他们的军国主义教育，最让人吃惊的是他们还在太原市四道巷建立了由保安第六大队经营，面向日本兵开放的“欢乐窝”，其实就是“慰安所”换了个名字而已。
当残留的日军还没有完成整编时，蒋介石就迫不及待地挑起了内战，1945年底的上党战役后期，这些日本军队就在阎锡山的授意下掩护第七集团军撤往太原。驻扎在沁县县城的日军大队收到八路军要求日军交出武器的命令后，假装接受投降，等到八路军进城后，他们关闭城门袭击了我军受降部队，犯下血债后被阎锡山接管。
为了揭露敌人的阴谋，1946年1月，国、共、美三方小组在山西调停内战时，陈赓作为中共代表严正指出：国民党正在利用战败日军打内战，国民党方对此百般抵赖，美方则是持怀疑态度。
为了让敌人无所遁形，陈赓提议大家一起去晋绥军前线阵地一探究竟，为防意外，陈赓的随行参谋在前面带路，不料踩中地雷光荣牺牲，这时，国民党和美方代表被吓得不敢向前，陈赓哈哈大笑，走到最前面开路，还招呼两方代表尽快跟上。
到了晋绥军阵地后，据守这个阵地的就是阎锡山收编的日本兵，当他们看到一大群人向山上走来时，被吓得呆若木鸡，上山后，陈赓走到一个士兵面前问他：“你是哪个部队的？”
那个日本兵不懂汉语，被问得不知所措，陈赓将他揪到美国和国民党代表跟前，用铁一般的事实拆穿了敌人的阴谋，随后八路军向日军发出通告：“日军在投降后仍然和战争结束前保持同样的武器，不将兵力集结一处，反而部署各个要点，这违反了《波茨坦公告》。”
为此，日方将留下人员全部按复员处理，靠这一招瞒天过海继续留在山西，并整编部队采用晋绥军的部队番号。
1946年期间，日军残留部队完成整编后配合晋绥军在各处战场与解放军作战，成为阻挠山西解放的战争罪犯。
1947年5月阳泉战役，驻守在阳泉的山西保安总队第五大队被围困，为了救援这支日本部队，赵承绶亲自率军驰援，元泉馨率领保安总队第一、三、四大队前往救援，但面对解放军的凌厉攻势，第五大队被歼灭，大队长敷田也被击毙。
元泉馨
此战过后，元泉馨和岩田清一等人发生内讧，元泉馨认为岩田清一瞎指挥才导致此次失利，甚至提出辞职，为了不让元泉馨一派分裂出去，最后决定由原独立第三混成旅团高级参谋今村方策出任日本部队的司令官。
1947年12月，运城被解放军攻克，临汾成了阎锡山在晋南的一块孤城，48年初，解放军开始向临汾一带集结，晋冀鲁豫军区第一副司令员徐向前来到前线亲自指挥这场攻坚战，阎锡山害怕晋绥军主力被解放军歼灭，立即命令残留日军组成的“暂编独立第十总队”参战，并命令元泉馨担任晋中野战军副总司令。
临汾守军有2.5万人，是阎锡山的精锐，徐向前集中了6万多人，以优势兵力于3月发起了临汾战役，历时两个月，终于将守敌全歼，总指挥梁培璜被俘，面对解放军的强达攻势，第十总队救援也无济于事。
由于阎锡山在山西的节节失利，一些日本兵也开始思念家乡，千方百计想回去，1948年5月，山冈道武和原日军114师团长三浦三郎以组织“义勇军”为由，离开山西回到了日本。
今村方策
临汾战役结束后，徐向前带领部队挥师北上，准备在晋中地区与晋绥军决一死战，阎锡山知道晋中的重要性，派赵承绶指挥，将自己的十万精锐都交于他手。
6月18日晋中战役打响，在徐向前的运筹帷幄之下，解放军主力以迅雷不及掩耳之势绕开敌人的防线，突然出现在晋中腹地，这打乱了阎锡山的布置，他立即命令回援平遥等地，解放军乘晋绥军转移之际，先后歼灭敌军一万余人，其中还包括阎锡山的王牌“亲训师”。
这下阎锡山自己乱了阵脚，他让赵承绶和元泉馨率部驰援，但元泉馨看不上赵承绶，不听他的号令，各自为战。
徐向前看准时间，在太原附近开辟新的战场，诱使赵承绶自投罗网，将晋绥军围困在早已设定好的包围圈中，在解放军的猛烈攻势下，晋绥军节节败退。
在晋中战役之前，徐向前知道阎锡山一定不会轻易放弃晋中，他一定会派出手中的精锐，其中就包括了残留日军，战前有将领问他对这些日军应该怎么处置，徐向前想到这些年日军的罪行，果断下令：若遇抵抗，就地歼灭！
随着徐向前的命令下达，参战的第十总队也领教到了徐向前的厉害，战役打到后期，那些日本兵一听到徐向前的名字就心惊胆战，7月15日，解放军攻克大常村，几名战士冲进了一间屋子，里面挤满了日本兵，为首的日本军官命令手下不要开枪，走上前问道：“你的徐向前的人？”
战士自豪地说：“对”，那名日本军官立即转头呼叫，屋子里的日本兵全都放下武器投降。
此外，日军指挥官元泉馨在撤退过程中被解放军的迫击炮弹击中，他并没有立即死去，经受不住疼痛的元泉馨大声喊叫让部下杀了他，部下听命给了他两枪，这个沾满了鲜血的刽子手立即毙命，此外还有七名军官也跟着一起剖腹自杀了。
晋中战役结束后，解放军兵临太原城下，10月5日，太原战役开始，25日，东山战斗打响，岩田清一、城野宏和今村方策坐镇“复兴楼”，指挥一千多名日军参战，战斗异常激烈，至11月2日，解放军终于占领了东山，取得了攻城的有利阵地。
在解放军的猛烈攻势下，澄田睐四郎眼看待在中国无望，在太原解放前带着几名随从逃回了日本，岩田清一等人继续负隅顽抗。
1949年4月24日，太原宣告解放，历时六个多月，700多名日本兵被打死，岩田清一、城野宏及400多日本兵在“复兴楼”被俘，今村方策被俘后服毒自杀。
至此，抗战结束后残留在山西的日本人全部被歼灭，对于这些双手沾满了中国人民鲜血的被俘日本官兵，人民解放军却发扬了人道主义精神，将他们送到了大同云冈一带的煤矿场进行劳动改造，特意安排他们在相对安全的地方背矿，还保证他们吃饱穿暖，组织他们学习，帮助他们改造思想。
这些日本官兵本以为等待他们的是死亡，没有料到中国人民解放军还给他们带来了温暖和关怀，他们中的一些人被遣返回国后积极奔走，用自己的亲身经历来为两国友好奔走，还有一些人愿意留在中国帮助建设新中国，希望用他们的实际行动来弥补日本军国主义对中国人民犯下的滔天罪行。