摘要

实验 0229 用结构化动作特征训练一个排序模型去模仿规则 AI T 的选择，测试集完整菜单移动 Top-1 只有 0.137，没过 0.25 的门槛；而且连训练集本身也只有 0.178，损失 20 轮后仍在下降。本实验不改 0229 的结论、不读它的测试集，只诊断：不足来自优化与容量，还是 351 维特征本身信息不够？

三条结论：不是输入重复或数值尺度问题；单纯延长训练提升很小（开发移动 Top-1 从 0.139 到 0.165）；小样本也拟合不稳。另外，T 选移动的决策里，模型约 44% 选了攻击——这是完整菜单得分低的主要原因。

要回答的问题

  1. 训练数据里是否有“同一菜单内两行特征完全相同、标签只能取其一”的输入碰撞？
  2. 同样的模型能不能把一小批（512 个）训练决策“背下来”？
  3. 把原训练从 20 轮延长到 80 轮，训练和开发指标会不会明显上升？
  4. T 选移动时，模型到底选了什么？

方法（冻结）

  • 阶段 1（小样本过拟合）： 从训练集用固定种子抽 512 个决策，与 0229 相同的模型和特征，Adam 1e-3、无权重衰减、批 64，最多 2000 步，每 100 步记录。同时统计输入碰撞比例。
  • 阶段 2（延长训练）： 与 0229 完全相同的设置（含权重衰减 1e-4），轮数延长到 80，在第 20/40/80 轮记录。
  • 诊断： 开发集上“T 选移动时模型选了什么类型”的混淆表。

事前判读（不设通过门槛）：阶段 1 达不到全体 Top-1 0.95，先查碰撞、标签和优化，不归因于特征不足；阶段 2 若 80 轮比 20 轮在训练和开发上都高 ≥ 0.05，说明原训练不足，若训练仍低则是容量或特征信息不足。

设置

数据是 0229 的同一批分片，只用训练集（400 个来源）和开发集（100 个来源），测试集不读。GPU 运行，阶段 1 约 5 分钟、阶段 2 约 40 分钟。

结果

输入碰撞： 训练集 39,650 个决策中，标签行在同一菜单里有完全相同另一行的有 250 个（0.6%）；6,381 个移动决策中 0 个。抽查 40 局，所有特征绝对值都 ≤ 1，不存在数值尺度过大的问题。

阶段 1（512 个训练决策，无权重衰减，2000 步约 250 轮）：

步 损失 全体 Top-1 移动 Top-1 类内移动 Top-1
100 2.25 0.418 0.013 0.120
500 1.11 0.703 0.267 0.293
1000 0.50 0.832 0.387 0.387
1500 0.55 0.867 0.573 0.573
1800 0.53 0.883 0.653 0.653
2000 0.75 0.852 0.547 0.547

没有达到 0.95，损失在 0.26–0.75 之间来回波动、不收敛。按事前判读，先归为优化或容量问题。

阶段 2（0229 原设置延长到 80 轮）：

轮 训练：全体 / 移动 / 类内 开发：全体 / 移动 / 移动 Top-3 / 类内
20 0.534 / 0.178 / 0.350 0.525 / 0.139 / 0.369 / 0.307
40 0.567 / 0.175 / 0.380 0.548 / 0.145 / 0.372 / 0.338
80 0.587 / 0.226 / 0.400 0.549 / 0.165 / 0.414 / 0.350

第 20 轮与 0229 第 20 轮完全一致（可复现）。80 轮比 20 轮：训练移动 Top-1 +0.047、开发 +0.026，都不到 0.05——原 20 轮的不足主要不是轮数问题。

T 选移动时模型的选择（开发集）：

轮 攻击 移动 等待 技能 其他
20 44.1% 37.2% 11.5% 3.2% 4.0%
80 42.7% 38.2% 10.8% 3.5% 4.8%

这些决策的菜单里有攻击可选，T 却选择了移动（它的“威胁圈”移动价值高于攻击评分）。

失败与负结果

本实验按计划完成，是诊断而非门槛实验；它给出的负面信息是：延长训练不能解决 0229 的问题，小样本也拟合不稳。

局限

  • 未验证： 学习率和批大小，或“状态与动作只拼接一次”的结构，限制了记忆能力。
  • 未验证： “攻击还是移动”取决于 T 内部两套评分的比较，现有特征只有攻击伤害占比和近似几何。实验 0068 中“有攻击就攻击”的规则 AI H3 明显强于 T，说明这类“能打却不打”的选择也许本身就不好学、也未必值得学——这同样是未验证的解释。

结论与下一步

问题不在输入重复或数值尺度，也不是多训练几轮能解决的。后续须另立实验，候选方向：降低学习率或增大批做小样本拟合检查（见实验 0231）；先选类型再排序的两段式；补 T 实际使用的公开威胁圈数值；或直接改以规则更简单的 H3 为教师。