摘要

实验 0201 证明了神经网络整局训练链路可用，但它的输入只是粗略数值。本实验先在 90 分钟限时内做表示 v2：让网络看到公开的兵种、能力和状态身份及参数、己方法术冷却与可用性、动作的所有目标格。随后按冻结协议训练：128 局 Fair（只看公开信息的规则 AI）示范用于模仿初始化，再做 600 局 PPO 训练（PPO 是每次只允许策略小幅变化的强化学习算法），全部自然终局、无故障。但接下来的开发评测在第 5 局因一个公开查询故障中止，候选模型尚未评测。另做了提速：CPU 8 进程吞吐约 1.53 倍已采用；GPU 输入缓存在默认 CUDA 数学下未过事先冻结的误差门槛，保持关闭。

要回答的问题

带公开语义的 v2 表示能否支撑一次完整、无故障的有限训练？训练产出的模型能否进入开发与保留评测？

方法

  • 表示 v2：保留 v1 数值，加入公开 ID 与参数（运行时唯一 ID 只用于连接，不进入权重）；敌方只有公开揭示过的法术。冻结词表 1163 个符号，只来自公共定义目录与训练材料，超出词表的 ID 记为“未知”并计数，训练和评测中不扩表。
  • 网络：仍是小型多层感知机，单位、英雄和动作目标先各自编码再取平均与最大值汇总；没有图网络、循环网络或搜索。
  • 训练协议：模仿 ≤ 10000 标签或 20 分钟；PPO ≤ 600 槽 / 60000 受控决策 / 90 分钟；只有自然终局给 ±1/0 奖励，截断不入梯度。

设置

训练 64 个来源（920000–920023 与 920048–920087），开发 920024–920031，保留 920032–920047。“来源”指同一开局、交换蓝红的两局。开发最多 80 局，从第 200/400/600 槽三个检查点中选一个；保留要求 PPO 相对 Fair 平均来源得分差 ≥ +0.10 且 ≥ 4 来源改善。

结果

阶段 结果
教师采集 128 局全部自然终局，13,224 转移，6,704 受控标签，604.16 秒
模仿初始化 4 轮、420 优化步
PPO 训练 600/600 局自然终局，31,479 受控决策，75 批更新，1,793 优化步，28 批 KL 提前停止，3,005.514 秒
开发评测 纯 Fair 前 4 局自然终局，第 5 局故障，75 局未开始

训练期 167 胜 433 负来自不断变化的策略和重复来源，不是独立棋力成绩。规定的 6 局审计（662 转移）通过。

失败与负结果

  • 开发中止：第 5 局第 38 步，公开恢复查询错误地把施法加成限制为 0 或 1，而规则提供方已支持取整后的 +2。局部修复后 327 项检查和原 38 步通过，但原开发台账保持“1 故障、75 未开始”，没有模型选择、没有保留评测。
  • 词表缺口：审计发现 52 个不同的未知符号（含 5 个英雄 ID），网络无法区分这些被合并的身份。
  • GPU 缓存：确定性数学下三批更新快 1.550 倍；但首次 256MiB 上限试验在第一批 409MiB 时停止；改 512MiB 后，默认 CUDA 核验在第 7 次更新时共享偏置差 0.001114003，超过冻结的 0.001 容差。缓存保持关闭，不能说已启用 GPU 提速。

局限

CPU 8 进程 1.533 倍是短前缀吞吐，不是整程训练提速；两个 1.5 倍不能相乘。网络的压缩汇总不保证区分所有不同状态。

结论与下一步

训练按协议完成，但模型强度未知。下一步用同一权重和词表，在新目录做有限的开发与保留复评，不重训，见实验 0203。