摘要
实验 0211 诊断出:0210 的模仿模型从不正确地选“移动”,主要是因为它分不清哪一格更好。本实验做了唯一一个修复:给每个移动候选附上“走过去后离敌人更近还是更远”等公开相对几何信息,其余(标签、网络、优化器、预算)全部保持,重新训练一次并打完整对局验收。
结果:局部指标改善了——固定 93 个移动样本的内部精确 Top-1 从 11 升到 25;但完整菜单下这 93 个样本仍是 0 次精确选移动。开发集动作匹配 203/320(63.44%),低于 75% 门槛;开发对局 BC 对基线 5 胜 11 负,来源均分差 −.125,低于 −.10 门槛。两项门槛都失败,候选关闭,12 个保留来源未开。
要回答的问题
在 2v2 小课程(每方两个兵种、无英雄/法术/宝物、20 回合未分胜负则双方判负)里,补上相对几何信息能否让行为克隆(BC,让网络模仿教师 AI 的选择)的移动选择变好,并让整局表现接近教师?这里的教师与对手都是基线搜索 AI,记作 F(Fair,只用玩家可见信息)。
方法
保留原有的公开语义、绝对位置和完整菜单输入,只给移动动作追加 9 个公开标量:
- 行动单位到目标格的六边形轴坐标差 Δq、Δr 和六边形距离;
- 当前格与目标格到最近可见敌方近战单位的距离,以及两者之差;
- 当前格与目标格到最近可见敌方射手的距离,以及两者之差。
坐标转换和距离直接调用 Simulator 的公共函数,不自写几何公式。每个标量编码成“压缩后的数值 + 是否已知”两个通道,共 18 个通道;缺失时填 (0,0),不把“未知”当成“零”。参数量从 161,330 增至 162,482。
设置
- 数据:沿用 0210 的 32 个训练来源、1328 个教师动作标签,全部用新特征重新编码,不新增标签、不挑样本。
- 训练:单一新模型、固定初始化,最多 8 个 epoch 或 400 步先到为止;初始化 20 分钟、整轮 45 分钟上限。
- 开发评测:8 个开发来源。这里“来源”是一个固定初始布局;每个来源打 1 局 F 对 F,以及 BC 执蓝、执红各 1 局对 F,共 24 局。来源差 = BC 在该来源的平均得分 − F 在同一来源的平均得分(胜 1 分、负或双输 0 分),再对来源取平均。
- 冻结门槛:开发集(非单选菜单)教师动作 Top-1 ≥ 75%;来源均分 BC−F ≥ −.10;已知终局 ≥ 95%;回放与输入核验全部通过。失败则关闭,不碰保留集。
- 注意:8 个开发来源在 0210 中已经用过,只能做开发判断,不是独立泛化测试。
结果
单次运行 105.6086 秒,初始化 44.7144 秒,8 epoch / 168 步。
| 指标 | 0210 旧模型 | 0212 本模型 |
|---|---|---|
| 训练集动作 Top-1 | 719/1328(54.14%) | 725/1328(54.59%) |
| 训练集移动 / 攻击 | 0/478;715/730 | 6/478;715/730 |
| 固定 93 移动样本:内部 Top-1 / Top-3 | 11/93;25/93 | 25/93;51/93 |
| 固定 93 样本:完整菜单精确移动 / 预测为移动 | 0/93;0/93 | 0/93;4/93 |
| 固定样本移动总概率 / 攻击对照 | 66.21%;32/32 | 59.75%;32/32 |
| 开发集动作 Top-1 | 200/320(62.50%) | 203/320(63.44%) |
| 开发集移动 / 攻击 | 0/87;197/204 | 3/87;197/204 |
| 开发对局 BC 对 F | 5 胜 11 负 | 5 胜 11 负 |
| 来源均分 BC−F | −.125 | −.125 |
开发 24 局中 23 局自然分出胜负,1 局 F/F 在第 20 回合双输;BC 的 16 局全部自然结束,没有未知或故障。BC 平均分 .3125,F 为 .4375;2 个来源改善、4 个退化、2 个持平。
正确性:32 个原初态和 1328 个原转移、去掉新通道后的全部原编码逐条一致;8 个新初态、914 个新转移、24 局双方奖励、295 个网络决策回执全部一致。24 局新回放已导入回放界面并通过桌面和手机宽度的交互检查。
失败与负结果
- 动作 Top-1 63.44% < 75%,来源差 −.125 < −.10:两项开发门槛均失败。完成率 100% 和正确性通过不能抵消表现失败。
- 局部的移动排序改善(11→25)没有转化为完整菜单的移动选择,更没有转化为整局收益。
- 测试阶段有一次误比较运行耗时字段导致的失败,以及一次汇总脚本字段名写错导致的 KeyError;都只影响检查脚本,原输出保留,没有重跑实验。
局限
- 新模型是新初始化且参数维度变了,不是严格的“同初始权重”消融。
- 125 条固定诊断样本偏蓝且同源相关,不能当独立准确率。
- 结果支持“内部排序改善不足以带来完整动作或整局收益”,但不证明类别竞争是唯一原因。
结论与下一步
相对几何特征让模型在“移动之间”排得更好了一点,但它在完整菜单里依然几乎不选移动,整局表现也没有变化。按协议关闭本候选,不继续围绕同一布局调特征。下一步只尝试一次结构改动——先选动作类别、再选类内动作的分层模型(见实验 0213);若再失败,就停止在同一批教师数据上连续微调 BC 结构。
Comments