在日本即将投降之际，也就是8月13日，美国总统杜鲁门曾发布第一通令，指定蒋介石是中国战区唯一具有受降资格的人，日本人完全不敢违抗，所以晋省境内的日军拒绝向八路军缴械投降，除了泉阳的第四混成旅团，其他日军全部都是向阎锡山的晋绥军缴械投降的。

这让阎锡山的军队迅速补充了大量日军装备，也是他敢派兵深入到八路军根据地腹心的原因，上党战役损失惨重之际，日本人找上门来了。

日本投降，但并不是所有日军都能接受这个事实，其中包括冈村宁次，他知道，中国两党的关系并不和谐，迟早会爆发一场大战，如果他能留下一支部队在中国，日本就可能趁机东山再起。

所以在谈判签订投降协议时，冈村宁次建议何应钦将目前仍在中国的30万日军留下，以后可以帮助国军“围剿”共产党。

何应钦汇报给了蒋介石，他看出了日本人的狼子野心，知道把这么多日军留下、迟早会出事，到时候就是请神容易送神难，拒绝了冈村宁次的提议，不过，因为冈村宁次有大量和八路军作战的经验，蒋介石将冈村宁次留了下来，担任“围剿”共产党军队的军事顾问。

冈村宁次见蒋介石不同意，又想到了阎锡山，让山西的日军将领秘密接触阎锡山、商谈日军留在晋省的事宜。

日本华北方面军第一军司令澄田来四郞、后出任阎锡山高级顾问，他看出阎锡山想要独霸山西、而其实力不足以支撑这个野心，于是找到阎锡山密探，双方很快达成秘密协议，将在晋省的日军由阎锡山秘密予以庇护、然后整建制地被其收编。

日本人对阎锡山这么“好”？

事实上，澄田来四郞等人有着他们自己的目的，前晋省伪政府顾问辅佐官城野宏制作了名为《日本人应有的立场》的小册子，在晋省的日本士兵中秘密传播，大意是美苏战争即将爆发，届时双方陷入争斗之中，那将是日本重新崛起的最佳时机，为此，在华日军不能解除武装，必须暗中保存实力，待时而起、重振蝗军军威。

城野宏在日本投降后、立即为阎锡山留用，化名李诚，官阶中将，是日军“残留”在晋省的主要组织者和参与者之一，阎锡山与澄田来四郞会面，就是由城野宏居中牵线的。

阎锡山回到太原第四天，就秘密召集留在太原的数百名日本人在省府大礼堂发表演说，其中有谓：“君等如愿留在山西与予合作，则不仅给以生命财产之保障，在经济上亦必给以适当报酬。”

这是阎锡山第一次公开提出日本军人留在的山西作战的计划。

之后阎锡山派他的心腹、第二军军长赵瑞为代表，全权负责与日军高阶军官举行密商，日方首席代表是岩田参谋，因为他比较了解晋省情况、还会汉语，不用翻译、方便保密，经澄田来四郞授权，岩田开始与赵瑞在东辑虎营的太原保安司令部宿舍举行谈判，为了保密，这次谈判，每天在半夜十二点开始，谈到凌晨四时。

赵瑞每天披星戴月的赶去向阎锡山汇报谈判的结果、听取阎锡山的最新指示。

赵瑞与日本人经过五天谈判，双方达成如下协议：

一．日军中如有自愿留在山西者，可向其原属部队日军司令申请复员，脱离日本军籍，此后加入新的日军部队，归由阎锡山指挥。

二．阎锡山同意，所有留用之日本军人，全体给以军官待遇，并照原来军阶连升三级。

三．给以宿舍，并许在军营以外地区居住。

四．薪酬照应聘者资格从优议定之。

五．服务合同为期两年，期满如愿返日，一切由阎负责代办。