摘要
完整 Arena 上的 PPO(实验 0203、0204)都没能胜过规则 AI Fair(只看公开信息做决策)。本实验先退一步,问一个更基础的问题:在一个很简单的课程里,网络能不能至少学会模仿 Fair? 课程是 2v2:每方 20 个侍从(近战)和 20 个弩手(射手),无英雄、无法术。只做模仿学习(BC,按 Fair 在每个局面选的动作做交叉熵训练)。训练顺利完成,但开发集两项门槛都失败:教师动作精确匹配 62.50%(要求 ≥ 75%),来源差 −0.125(要求 ≥ −0.10)。最突出的症状是网络一次也没有匹配上 Fair 的移动动作。保留集未打开,候选关闭。
要回答的问题
在独立的简单 2v2 布局上,沿用原网络和公开编码的 BC 模型,能否接近 Fair 的动作与胜负?
方法
- 合成布局 940200–940251 共 52 组,按距离签名去重(合并平移、反射、换边等价),分为 32 训练 / 8 开发 / 12 保留。
- 每个训练来源收集一次 F/F 对局作为示范;重新初始化原 v3 网络、公开语义编码和完整合法菜单,不扩词表、不扩网络。最多 8 轮或 400 优化步。
- 来源差:每个评测来源跑 BC 执蓝对 F、F 执蓝对 BC 两局,BC 平均得分减去同来源 F/F 双侧平均分。
- 冻结门槛:开发集教师 Top-1 ≥ 75%,来源差 ≥ −0.10,已知终局 ≥ 95%,无正确性故障;通过才打开保留,失败即结束,不顺手做 PPO。
设置
教师生成 + 训练 20 分钟,整轮 45 分钟;8 核低优先级。计划 92 局(含未开始的保留槽)。
结果
整轮 89.7421 秒;32 个教师局(27 自然胜负 + 5 次 20 回合双输)得到 1328 标签,8 轮、168 优化步。开发 24 局(23 自然胜负 + 1 次 F/F 双输),0 未知/故障。
| 教师动作类别 | 训练精确匹配 | 开发精确匹配 |
|---|---|---|
| 移动 | 0/478 | 0/87 |
| 攻击 | 715/730 | 197/204 |
| 单位特技 | 4/56 | 3/21 |
| 等待 | 0/20 | 0/3 |
| 防御 | 0/44 | 0/5 |
| 合计 | 719/1328(54.14%) | 200/320(62.50%) |
开发 BC 16 局 5 胜 11 负(平均得分 0.3125),同来源 F/F 双侧均分 0.4375,来源差 −0.125:2 来源改善、4 退化、2 相同。56 局 2267 次转移、56 次随机数扰动、308 份模型回执全部核验通过,误差为 0。
失败与负结果
- 两项门槛都失败;正式运行无故障,所以不是“没训练起来”。
- 教师移动动作的平均概率只有约 0.03(训练 0.031205、开发 0.020595),总体精确率接近攻击标签占比。这是具体症状,尚未证明是网络结构或类别不平衡导致;也不能推出网络从不移动或所有不匹配动作都是战术错误。
- 执行前一个测试用错字段名(1 失败 10 通过),修正后通过;回放界面目视发现两处显示问题,仅改 CSS/JS 后复验通过。
局限
距离签名去重不等于统计独立;无英雄课程不能代表完整 Arena;词表外符号只有一种(弩手的“精制弩箭”能力),未扩词表。
结论与下一步
关闭本版 BC,不加训、不开保留。下一步做零学习更新的只读诊断:拆开“动作类别竞争”和“移动内部落点排序”,见实验 0211;之后另立相对几何特征实验 0212。
Comments