摘要

实验 0213 的分层模仿模型（先选动作类别、再选类内动作）因开发布局不够而没能开训。本实验只把新开发布局的可选行从原来的少数几行扩大到第 1–9 行，凑出 8 个从未用过的布局，然后按原协议训练一次、打 24 局开发对局。

结果：移动选择确实改善（固定诊断样本里完整菜单精确选对移动从 0 升到 20），但攻击匹配随之退化，单位技能/等待/跳过三类仍然全错。开发集完整动作匹配 174/275（63.27%），低于 75% 门槛。开发对局 BC 8 胜 8 负，每个来源的赢家都与同布局的基线对局相同，来源差 0。动作门槛失败，关闭；36 个保留槽未开。

要回答的问题

在 2v2 小课程（每方 20 个侍从 + 20 个弩手，无英雄/法术/宝物/障碍，20 回合未分胜负双方判负）里，分层动作选择能否让行为克隆（BC，让网络模仿教师 AI 的选择）在新布局上既匹配教师动作、又不输给教师基线 F？

方法

  • 模型：0213 已实现的分层结构，类别头（64 → 5 类）+ 原动作评分器；损失 = 类别交叉熵 + 类内交叉熵，不加权；推理先选类别、再选类内动作。
  • 数据：复用 0210 的 32 个训练来源与全部 1328 个教师标签，以及 0212 的相对几何输入，逐条核对保持不变。
  • 来源方案：近战列仍为 1–3、射手列 0–3，可选行改为 1–9；红方按实际有效列镜像；按固定种子洗牌并按距离签名去重，排除旧 52 组和 0209 已登记布局。

设置（冻结的条件）

  • 布局池扩大后排除 0209 组有 194 组，再排除旧 52 组剩 142 组，按预登记顺序取前 8 组作新开发来源。
  • 训练：单一新初始化、固定种子，最多 8 epoch 或 400 次更新；初始化 20 分钟、整轮 45 分钟。
  • 开发：每个来源 1 局 F 对 F + BC 执蓝/执红各 1 局对 F，共 24 局。来源差 = BC 平均得分 − F 平均得分（胜 1、负或双输 0）。
  • 门槛：完整教师动作 Top-1 ≥ 75%；来源均分 BC−F ≥ −.10；已知终局 ≥ 95%；零正确性故障。全过才打开 12 个保留来源（36 局）。
  • 停止线：若失败，结束这批 32 来源 / 1328 标签上的连续 BC 结构微调，不紧接加权、加宽、加特征或加训练轮数。

结果

单次运行 75.2455 秒，其中初始化和训练 36.2895 秒；8 epoch / 168 次更新，162,807 个参数。

指标 训练 新开发
完整动作匹配 820/1328（61.75%） 174/275（63.27%）
类别命中 1097/1328 212/275
移动类别命中 399/478 42/74
移动内部 Top-1 / Top-3 163/478 / 267/478 17/74 / 34/74
完整实际移动命中 136/478 11/74
完整攻击命中 684/730 163/173
单位技能 / 等待 / 跳过 0/56 / 0/20 / 0/44 0/17 / 0/3 / 0/8

在 0211 固定的 125 条训练诊断样本上（相对 0212）：93 个移动样本的内部 Top-1 从 25 升到 34，Top-3 仍为 51；完整菜单精确移动 0 → 20，预测为移动 4 → 55；移动概率总量均值 .59750 → .48423；32 个攻击样本保持全中。

开发对局：BC 16 局 8 胜 8 负，另 8 局 F/F 基线；全部自然分出胜负，0 双输、0 未知、0 故障。BC 与基线平均分均为 .5，每个来源差均为 0，0 改善 0 退化。

正确性：8 个新初态、725 个转移与公开输入、24 次随机数扰动、223 个网络决策回执与双方奖励全部通过，回执最大误差 0。24 局回放已导入回放界面并通过交互检查。

失败与负结果

  • 动作匹配 63.27% < 75%，门槛失败。得分差 0 和终局率 100% 过线，但不能替代动作门槛。
  • 移动改善的同时训练集攻击匹配退化，少数类别（技能、等待、跳过）完全学不会；问题不能简化为单一的类别不平衡。

局限

  • 开发布局换了，此前 0212 开发集上的 5 胜 11 负与本次 8 胜 8 负不是同布局对照，不能解释成受控的棋力提升。
  • 新开发布局几何分布比训练集更广，只能称“未用布局上的开发筛选”，不是统计独立的泛化测试。
  • 新开发输入里有 170 条包含词表未收录的弩手精制弩箭能力，按未知词处理，未改词表。

结论与下一步

分层结构让模型“开始移动”，但没有做到“像教师一样移动”，整局也只与基线打平。按停止线，结束在同一批教师数据上的 BC 结构微调。下一步换数据而不换结构：实验 0215 做一次有限的 DAgger 数据聚合——让当前模型自己下棋、在它走到的局面上请教师标注。