摘要
实验 0212 给模仿模型加了相对几何特征,移动内部排序变好了一点,但完整菜单下它仍然几乎不选“移动”。一个自然的猜测是“类别竞争”:攻击、防御等少数几个动作各占一大块概率,而移动的概率被几十个格子摊薄,于是移动永远争不过。本实验准备检验一个对应的结构改动:先选动作类别,再在该类别里选具体动作。
原型实现并通过了软件检查,但在冻结正式训练协议时卡在了数据准入:预登记的合法布局池里只剩 1 个未用过的布局,凑不出所需的 8 个新开发来源。按事先写好的“不足即停止、不换池”规则,本实验在正式训练前结束。这是来源准入失败,不是分层模型的棋力失败,本轮没有任何棋力数据。
要回答的问题
在 2v2 小课程(每方两个兵种、无英雄、20 回合未分胜负双方判负)里,把扁平的“所有动作一起比概率”改成“类别 → 类内动作”两级选择,能否让模仿模型正确选择移动、并让整局表现接近教师基线 AI(记作 F)?
方法
- 保留 0212 的全部输入、隐藏层、动作评分器、词表、优化器和预算,只新增一个小的类别头(64 维 → 5 类:移动、攻击、单位技能、等待、跳过)。
- 训练损失 = 类别交叉熵 + 类内动作交叉熵,等权相加,不加类别权重。
- 推理时先取概率最高的合法类别,再取该类别内概率最高的动作。这与“对所有动作的联合概率取最大”不同,两者分开记录。手算例子:类别概率移动 .6、攻击 .4,移动里两个候选各 .3——分层选择选移动,联合最大却选攻击。
- 来源方案:沿用 0210 的合法位置枚举和固定洗牌顺序,排除旧 32 训练 + 8 开发 + 12 保留的全部几何组,再取接下来的 8 组作为新开发集。
设置(冻结的条件)
- 数据:复用 0210 的 32 个训练来源(“来源”指一个固定初始布局)和 1328 个教师标签。
- 预算:最多 8 epoch 或 400 次更新;初始化 20 分钟、整轮 45 分钟。
- 开发门槛:教师动作 Top-1 ≥ 75%、来源均分 BC−F ≥ −.10、已知终局 ≥ 95%、零正确性故障。
- 来源不足 8 组则停止,不缩小、不补抽、不换池、不打开保留集。
结果
- 按原六对六边形距离和换边签名去重、排除已知组后,候选池总共只有 53 组;32 训练 + 8 旧开发 + 12 保留已占 52 组,只剩 1 组。
- 既有几何来源计划请求 53 组通过,请求 54 组即被“not enough disjoint geometry groups”拒绝。
- 因此没有生成正式协议和来源清单,没有构造新对局状态,24 个开发局和 36 个条件保留局全部未开始,结果记为 unknown。
软件原型方面:Core 69 项 + Torch 33 项共 102 项不同检查通过;对 0212 冻结模型的前 16 条训练记录只读复现,预测与教师 logp 最大差为 0,说明旧模型读取兼容。
失败与负结果
失败原因是确定的:布局池容量不足,有枚举和边界拒绝两份证据。软件检查通过不代表算法有效,也不代表无效——分层结构从未被正式训练过。
局限
- 原型的正式数据链从未端到端执行,软件测试不能替代一次真实训练。
- “类别竞争”仍然只是机制假设:0212 中移动内部正确率只有 26.88%,排序本身也不好。
结论与下一步
不在原池上硬凑。下一实验 0214 只调整新开发候选池(把可选行扩到 1–9),其余原列、镜像、去重和种子顺序保持,学习改动仍只有这一个分层结构;若再次正式失败,就停止在同一批 1328 个标签上连续微调 BC 结构。
Comments