摘要
实验 0202 训练完成了 600 局 Masked PPO（只在合法动作中选择的近端策略优化强化学习），但开发评测因查询故障中止。故障修复后，本实验不重训，只把原来的模仿模型（BC，照着 Fair 示范学）和三个 PPO 检查点复制到新目录，按原协议重新评测。176 局全部自然终局、回放全部核验通过；但在独立保留集上，PPO 32 局只赢 5 局，Fair 赢 9 局，PPO 相对 Fair 的来源差 −0.125，没有一个来源改善，未达到“≥ +0.10 且 ≥ 4 来源改善”的升级门槛，v2 关闭。
要回答的问题
冻结的 PPO 模型在从未见过的开发和保留来源上，是否胜过只看公开信息的规则 AI Fair？
方法
- 三种策略：F（原 Fair）、BC（只做模仿）、P（PPO 检查点）。每个来源（同一开局两方向各一局，交换蓝红）上各打两局，来源差是候选两局得分均值减对照两局得分均值。
- 先在 8 个开发来源上比较 F/BC/P0/P1/P2 共 80 局，按“P−F 来源保守均差最高、同分取较早”选一个 P；通过完整度与回放后，才生成 16 个保留来源，F/BC/P 各 32 局，共 96 局。
- 计分胜 1、平 0.5、负 0；不补来源、不按结果调参。
设置
规则版本 v448，100 回合研究上限，单局 120 秒、单次选择 4 秒；开发 920024–920031，保留 920032–920047；每阶段 30 分钟、总评测 90 分钟。
结果
开发（8 来源、每模型 16 局，80/80 自然终局）：
| 模型 | 胜 | 负 | P−F 来源均差 |
|---|---|---|---|
| F | 3 | 13 | — |
| BC | 2 | 14 | −0.0625 |
| P0（第 25 批） | 3 | 13 | 0 |
| P1（第 50 批） | 2 | 14 | −0.0625 |
| P2（第 75 批） | 3 | 13 | 0 |
P0 与 P2 同分，按规则冻结较早的 P0。
保留（16 来源、每模型 32 局，96/96 自然终局）：
| 模型 | 胜 | 负 | 得分率 |
|---|---|---|---|
| F | 9 | 23 | 28.125% |
| BC | 6 | 26 | 18.750% |
| P | 5 | 27 | 15.625% |
P−F 来源均差 −0.125，0 改善 / 2 退化，5000 次来源 bootstrap 95% 区间 [−0.3125, 0]；P−BC −0.03125，0 改善 / 1 退化，区间 [−0.09375, 0]。bootstrap 区间是对来源有放回重抽得到的统计区间。两个退化来源都是 Fair 两边都赢、PPO 两边都输。
全部 176 局 16,600 转移、5,828 公开决策、256 次隐藏信息扰动和 256 份模型回执独立核验通过，误差为 0。
失败与负结果
- 主门槛失败：没有一个来源改善。
- 开发 96.808%、保留 97.399% 的决策至少含一个词表外的未知符号。这是“含至少一个未知符号的决策比例”，不是未知信息占比，也未证明是失败原因。
局限
只有 16 个保留来源；训练只复验了抽样轨迹；耗时数据（P 组 p95 约 0.1128 秒）不含结算，不是网页端到端验收。不能据此否定所有 PPO 或神经网络策略。
结论与下一步
关闭 v2，不延长训练、不在已打开的保留集上重选检查点或调词表。后续在 20 回合新规则下另立协议重训，见实验 0204；两版成绩不能合并比较。
Comments