摘要

上一轮实验 0210 用行为克隆（behavior cloning，简称 BC：让神经网络模仿一个“教师”AI 在每个局面下的选择）训练了一个 2v2 小课程的对战模型。它几乎学会了攻击，却从未正确模仿过一次“移动”。本实验不训练、不开新对局，只把冻结的模型拿出来，在 125 条固定的训练样本上逐项检查：错在哪里？

结论：教师选移动的 93 个状态里，模型完整菜单下 0/93 选了移动；但移动类候选的总概率并不低（平均 66.21%），只是分散到几十个格子上。只在移动候选内部比较时，精确猜中教师落点的只有 11/93（11.83%）。按事先冻结的规则，问题被归入“移动内部排序差”，下一步只尝试一项相对几何特征（见实验 0212）。

要回答的问题

在这个游戏里，每一步 AI 面对一个“合法动作菜单”：攻击某个敌人、移动到某个格子、防御、使用特技等。0210 的模型在训练集上移动类 0/478、开发集 0/87 精确匹配，攻击却在 96% 以上。可能的原因有好几种：

  • 数据链出错：教师动作和模型看到的编码没有对上；
  • 类别竞争：模型其实会排好格子，只是总被攻击/防御压过；
  • 移动排序差：模型根本分不清哪个格子好；
  • 输入碰撞：两个不同格子的编码完全一样，模型无从区分。

本实验要在不改模型的前提下，把问题落到其中一个具体分支上。

方法

  1. 完整绑定核对。 从保存的训练前缀重建真实的公开菜单，核对教师动作的编号、参数、目的地、编码和合法掩码；再把菜单顺序反转、同步所有动作编码，检查模型按动作身份还原的分数是否不变（容差 1e−5）。任何不一致都意味着先修数据链，不做算法归因。
  2. 完整菜单诊断。 统计教师选移动时模型预测了什么类别、移动类总概率、教师动作在完整菜单中的排名。
  3. 移动内部诊断。 权重不变，离线屏蔽所有非移动候选，看教师落点的 Top-1 / Top-3 和排名。距离教师格 1 格不算对。
  4. 一步对照。 按固定顺序取最多 16 个“内部不匹配”的状态，在公开 Simulator（游戏规则的本地实现）里分别执行教师动作和模型动作各一步，比较事件和结果状态。不做续玩到终局。

分流规则在读取任何预测之前冻结：若内部 Top-1 ≥ 60% 且完整菜单选移动 ≤ 20%，判“类别竞争”；若内部 Top-1 ≤ 20%，判“移动排序”；有编码碰撞则优先修可区分性；其余为未定位。

设置

  • 只使用 0210 的 32 个训练来源（这里“来源”指一个固定的初始布局和随机种子）保存的教师记录和冻结模型；不读开发集，不打开 12 个保留来源。
  • 每个来源按固定顺序取最多前 3 条教师移动和前 1 条教师攻击，不足不补抽。实际选到 125 条：93 条移动、32 条攻击（缺 3 个移动槽）。
  • 样本明显偏蓝方（110 蓝 / 15 红），且同一来源的早期动作彼此相关，不能视作独立随机样本。
  • 预算：最多 25 分钟、CPU 8 核低优先级；零学习更新、零新对局。

结果

整次运行 10.1785 秒，其中冻结模型 CPU 评分 1.5125 秒。

指标 结果
教师选移动时，完整菜单预测移动 0/93
此时模型预测的类别：防御 / 攻击 / 特技 46 / 37 / 10
移动候选总概率均值 66.2116%
教师具体落点的概率均值 2.50194%
仅在移动候选内：精确 Top-1 / Top-3 11/93（11.83%）/ 25/93（26.88%）
教师落点排名中位数（完整菜单 / 移动内部） 16 / 13
每个状态的移动候选数 平均 32.18，范围 8–56
攻击对照精确 Top-1 32/32
编码碰撞 / 近似平分 / 顶部并列 0 / 0 / 0

正确性检查全部通过：32 个初态重建、789 个保存前缀转移、125 条公开输入与教师动作、125 个反转菜单编码一致；反转前后分数最大差远低于 1e−5。模型、两个优化器、版本号和 CPU 随机数状态逐值保持，没有保存新模型。

16 对一步对照中，0 对事件完全相同，0 对结果状态相同；落点距离 1–8 格，只有 2 对是邻格。状态不同不等于战术不等价，本轮没有做更深的等价判断。

按冻结规则，内部 Top-1 为 11.83% ≤ 20%，且无编码碰撞，分流结果为 “移动排序”。

失败与负结果

  • 执行前的一项测试失败：负例误用了一个反转后不变的回文目标数组，改为反转不同动作特征后通过，原失败记录保留。
  • 这不是模型失败的新实验，而是对已知失败（0210）的一次诊断。

局限

  • 只看 93 条偏蓝、同源相关的训练样本，不能推广为“模型在所有对局中从不移动”。
  • 分流结果说明“移动内部排序”是最该先修的地方，但不证明几何表达是唯一原因：类别竞争、训练预算和监督偏差都可能共同作用。
  • 一步对照只说明结果状态不同，不说明哪个动作在战术上更好。

结论与下一步

模型并不是“不愿移动”，而是不知道该往哪里走：移动概率总量够，但分散在平均 32 个格子上，教师选的那一格平均只分到 2.5%。下一步只做一项最小修复——给移动动作补充“相对目标格与敌人的距离”等公开几何特征，并用完整 2v2 对局验收（见实验 0212）。本实验到此结束，不扩建成多轮纯诊断。