抗日战争胜利后，所有入侵中国的日本军队都应当撤离中国。然而，仍有一些日本侵略者不愿相信自己所在的国家已经失败，依然以各种方式藏匿在中国的一些城市和地区，包括北京、长春、上海、青岛、杭州、汉口以及海南岛等地。

对于这些残余日军，我党主张彻底清除它们，但国民党内部却并不完全认同。部分国民党人士选择了容忍这些日本兵的存在，他们不仅未将其驱逐，反而还私下利用这些日军。部分残留日军被用于训练国民党部队，甚至被编入军队帮助其与解放军作战，特别是在解放战争期间。这些日军成为了国民党军事力量的一部分，扮演了一个极为不光彩的角色，山西残留日军便是其中最典型的例子。

1945年5月，在德国柏林被盟军攻陷后，侵华日军意识到自己最终的失败不可避免。此时，日本曾占领的东北及台湾等地都将归还给中国，这令许多日军不甘心，他们面临着两条选择的道路：一条是放下武器、顺从投降回到日本，另一条是悄悄留在中国，试图东山再起。大多数日军选择了前者，但当时的日伪山西省政府顾问城野宏、日军山西派遣军参谋长山冈道武等人却选择了后者，他们主张留在山西等待时机。

然而，是否能留下来并非他们单独决定，还需要山西王阎锡山的支持。当时，阎锡山也在考虑如何处理残留的日军问题。早在1944年，他曾公开表示，任何政党在战争结束前，通过外力获取政权都是不可避免的。这句话揭示了阎锡山当时的心态，显然他有意让日军继续驻留山西。他收留日军的目的主要是为了平息舆论和保证自己的政权稳定。

1945年8月上旬，阎锡山在山西孝义县会见了日军派遣军参谋长高桥坦，首次向日本提出借助山西武力的建议。这是当时的一个惊人举动，阎锡山为何提出这一建议有三个原因：首先，阎锡山知道自己的晋绥军在与八路军的较量中处于劣势，他希望借助日本军力来帮助自己在山西固守；其次，阎锡山曾在日本留学，深受日本军国主义思想的影响，他甚至曾在抗战前吹捧日本军队；最后，阎锡山本身就是亲日派，早在中原大战失败时，他曾依赖日本的庇护逃过一劫。看到抗战即将胜利，他知道日本会支持自己。

因此，在日本投降前不久，阎锡山主动提出让日军继续留在山西，这一想法得到了日军的响应。城野宏回忆说：让日军留在山西并非一时兴起，而是因为有了充分的客观条件和具体的基础。阎锡山与日军山西派遣军司令官澄田睐四郎等人达成了协议，阎锡山表示将全力支持他们的留驻，双方合作逐渐成熟。

1945年8月18日，山西保安司令部副司令赵瑞遵照阎锡山的指示，前往和日军合作。赵瑞与城野宏进行了接洽，并承诺以后继续保持密切合作。几天后，阎锡山再次派遣心腹赵承绶与城野宏沟通，强调要加强合作，共同抵御北方的威胁。

阎锡山在山西留住日军的行动逐渐展开，山西原日军特务队樱部队也在山冈道武的同意下转交给阎锡山。此后，阎锡山与山西的日侨们接触，承诺保证他们的安全，并向他们提供经济补偿和支持。最终，城野宏与阎锡山达成一致，开始筹划日军的整编。

1945年底，城野宏与岩田清一等日军领导制定了对残留日军的整编计划，计划设立残留日军司令部，编成九个步兵团，此外还有特务队和医院等，总兵力达到一万五千人。计划的核心是通过这支部队与晋绥军合作，形成一支强大的作战力量，进一步巩固阎锡山的政权。

1946年1月中旬，大规模的残留日军开始集结，阎锡山也信心倍增。随后的日军驻山西部队和阎锡山的晋绥军开始合作，在太原等地举行阅兵式。阅兵式上，日本军队与晋绥军一同高呼中华民国万岁，而后又喊出了大日本帝国万岁。这一场面令城野宏震惊不已，而晋绥军中一些有爱国情怀的人则心中充满愤怒，但由于阎锡山的威严，他们只能默默忍受。

1946年秋季，残留日军在太原举行了棒球比赛，场面十分热烈，啦啦队甚至公开展示了日本国旗。此举引起了国民党军官的愤慨，他立即前往干预并没收了国旗。阎锡山为安抚日本人，不仅抓住了这名军官，还指示将其驱逐出山西省。

随着解放战争的加剧，阎锡山与残留日军的合作也日益紧密，残留日军与晋绥军一同与解放军作战，阻碍了山西的解放。