摘要

完整 Arena 上的 PPO(实验 0203、0204)都没能胜过规则 AI Fair(只看公开信息做决策)。本实验先退一步,问一个更基础的问题:在一个很简单的课程里,网络能不能至少学会模仿 Fair? 课程是 2v2:每方 20 个侍从(近战)和 20 个弩手(射手),无英雄、无法术。只做模仿学习(BC,按 Fair 在每个局面选的动作做交叉熵训练)。训练顺利完成,但开发集两项门槛都失败:教师动作精确匹配 62.50%(要求 ≥ 75%),来源差 −0.125(要求 ≥ −0.10)。最突出的症状是网络一次也没有匹配上 Fair 的移动动作。保留集未打开,候选关闭。

要回答的问题

在独立的简单 2v2 布局上,沿用原网络和公开编码的 BC 模型,能否接近 Fair 的动作与胜负?

方法

  • 合成布局 940200–940251 共 52 组,按距离签名去重(合并平移、反射、换边等价),分为 32 训练 / 8 开发 / 12 保留。
  • 每个训练来源收集一次 F/F 对局作为示范;重新初始化原 v3 网络、公开语义编码和完整合法菜单,不扩词表、不扩网络。最多 8 轮或 400 优化步。
  • 来源差:每个评测来源跑 BC 执蓝对 F、F 执蓝对 BC 两局,BC 平均得分减去同来源 F/F 双侧平均分。
  • 冻结门槛:开发集教师 Top-1 ≥ 75%,来源差 ≥ −0.10,已知终局 ≥ 95%,无正确性故障;通过才打开保留,失败即结束,不顺手做 PPO。

设置

教师生成 + 训练 20 分钟,整轮 45 分钟;8 核低优先级。计划 92 局(含未开始的保留槽)。

结果

整轮 89.7421 秒;32 个教师局(27 自然胜负 + 5 次 20 回合双输)得到 1328 标签,8 轮、168 优化步。开发 24 局(23 自然胜负 + 1 次 F/F 双输),0 未知/故障。

教师动作类别 训练精确匹配 开发精确匹配
移动 0/478 0/87
攻击 715/730 197/204
单位特技 4/56 3/21
等待 0/20 0/3
防御 0/44 0/5
合计 719/1328(54.14%) 200/320(62.50%)

开发 BC 16 局 5 胜 11 负(平均得分 0.3125),同来源 F/F 双侧均分 0.4375,来源差 −0.125:2 来源改善、4 退化、2 相同。56 局 2267 次转移、56 次随机数扰动、308 份模型回执全部核验通过,误差为 0。

失败与负结果

  • 两项门槛都失败;正式运行无故障,所以不是“没训练起来”。
  • 教师移动动作的平均概率只有约 0.03(训练 0.031205、开发 0.020595),总体精确率接近攻击标签占比。这是具体症状,尚未证明是网络结构或类别不平衡导致;也不能推出网络从不移动或所有不匹配动作都是战术错误。
  • 执行前一个测试用错字段名(1 失败 10 通过),修正后通过;回放界面目视发现两处显示问题,仅改 CSS/JS 后复验通过。

局限

距离签名去重不等于统计独立;无英雄课程不能代表完整 Arena;词表外符号只有一种(弩手的“精制弩箭”能力),未扩词表。

结论与下一步

关闭本版 BC,不加训、不开保留。下一步做零学习更新的只读诊断:拆开“动作类别竞争”和“移动内部落点排序”,见实验 0211;之后另立相对几何特征实验 0212。