摘要

用户在 10 月 13 日定了新比赛规则：满 20 个完整回合仍未分胜负，双方都算输（得分 0，奖励 −1）；一方全灭而另一方只剩召唤物等临时单位，也算双输。实验 0203 的 PPO 是在旧的 100 回合研究上限下训练的，本实验在新规则下用全新来源重训。训练链路这次完整跑通：600 局训练、80 局开发、96 局保留，全部核验通过。但结果仍是负的：保留集上 PPO 32 局只赢 10 局，Fair 赢 18 局，来源差 −0.25、没有来源改善，候选关闭。

要回答的问题

在 20 回合双输规则下，先模仿 Fair、再做 PPO 强化学习的小型神经网络，能否在独立保留来源上胜过 Fair？

方法

  • 三种策略：F = Fair（只看公开信息的规则 AI）；BC = 只做模仿学习（照着 Fair 示范学）；P = 在 BC 基础上做 PPO（每次只小步更新策略的强化学习，并只在合法动作中选择，即 Masked PPO）。
  • 来源 = 同一开局交换蓝红的两局；来源差 = 候选两局平均得分减对照两局平均得分。
  • 运行前加了一道 BC 准入（v3.1）：在 32 条固定标签上做 ≤ 200 次更新的小集合拟合，Top-1 ≥ 95% 才允许进入 PPO，用隔离副本做，不污染正式模型。

设置

来源 930000–930087：64 训练 / 8 开发 / 16 保留。PPO 最多 600 槽 / 6 万受控决策 / 90 分钟；8 个 CPU 工作进程，GPU 做批量更新。开发从第 25/50/75 批三个检查点中选一个；保留门槛：P−F ≥ +0.10 且 ≥ 4 来源改善。

结果

阶段 结果
教师采集 128 局全部自然胜负，5770 标签，335.4242 秒
BC 准入 原 BC 在该子集 18/32；隔离副本 115 次更新后 31/32，通过
PPO 训练 600/600 完成（580 自然胜负、20 局回合上限双输），26920 受控决策，75 批，2019.2764 秒
策略 开发胜局（16 局） 保留胜局（32 局）
Fair 10 18
BC 7 12
PPO 第 50 批 7 10

开发选中 P50（相对 F −0.1875，0 改善 / 3 退化；开发门槛只要求完整性与正确性，所以按协议照常打开保留）。保留 96 局中 95 局自然胜负、1 局双输（PPO 的 22 负已含这一局）。P−F 来源均差 −0.25，0 改善 / 5 退化，bootstrap 95% 区间 [−0.46875, −0.0625]；P−BC −0.0625，1 改善 / 2 退化，区间 [−0.21875, 0.0625]。开发与保留共 176 局、14540 转移、5407 公开输入全部独立核验通过。

失败与负结果

  • 启动故障：首次运行在第一个来源首步就超过 4 秒选择上限（4.2128 秒）。诊断发现 Windows 顺序创建子进程时，早启动的 worker 计时后一直在等控制器（首个决策 3.9837 秒中等待 3.8681 秒）。改为全部子进程创建完再同时放行（v3.2）后首步 0.2175–0.5360 秒，动作结果完全一致；总墙钟基本不变，不是吞吐提速。原 8 个失败前缀保留，不拼入新运行。
  • 主门槛失败：PPO 相对 Fair 和 BC 都更差。
  • 98% 左右的决策含至少一个词表外符号，未证明是失败原因。

局限

小集合可拟合与训练顺利完成只是工程证据；没有对照能说明失败唯一来自特征、预算还是稀疏奖励。本批 20 回合成绩与实验 0203 的 100 回合协议不可直接比较。

结论与下一步

关闭完整 Arena PPO 候选，不加训、不换来源、不扩词表。下一步缩小到每方两个兵组的 2v2 课程，先检验模仿学习本身能否学会，见实验 0210。