摘要

在这之前，AI 改进实验大多是“在整局里只改一次动作，其余交给规则 AI Fair 接管”，再看胜负是否改善（Fair 是只看玩家可见信息的规则 AI）。用户要求转向整局战略和完整对局学习。本文记录这次方向决策：撤下一个尚未启动的“一次覆盖 + 线性价值回归”实验，改做一个默认关闭的整局策略——每回合选定并保持一个战略倾向，用 CEM（交叉熵方法） 按完整自然终局的胜负优化少量参数。这里只有方向和约束，没有训练结果；实际实现与首次训练见实验 0200。

要回答的问题

下一步学习实验应该学“单次覆盖动作的价值”，还是“持续控制整局的策略”？首轮应设多大规模和什么门槛？

方法

  • 为什么撤下一次覆盖：那种标签学的是“改一次动作后由 Fair 接管”的价值，无法直接检验持续决策的策略。此前法术覆盖候选的最终确认（实验 0040）144 局全部自然终局，候选与 Fair 来源均差 −0.020833，bootstrap 区间 [−0.083333, +0.041667]，48 个方向的动作全同，已关闭；这支持换候选，但不能证明新方法会更强。
  • 新策略的设计：只用公开观察、己方已知构筑与资源、可见队列和敌方已暴露信息；每回合选定一个战略倾向，每次决策在当前合法菜单中选具体动作；复用 Fair 评分作基线与合法回退，用不超过 20 个可训练参数影响动作选择。
  • CEM：一种演化优化——从参数分布中采样若干候选，让它们打完整对局，取表现最好的一批更新分布，重复几代。只按自然终局胜负学习，不以 Fair 动作或手工材料分作标签。

设置（首轮建议上限）

项目 范围
来源隔离 全新来源：24 训练 / 8 开发 / 16 保留
参数优化 最多 2 代，每代 12 个候选，每候选 12 来源、红蓝换边
训练局数 最多 576 局，候选控制 A 方，固定 Fair 控制 B 方
计算 训练 60 分钟上限，最多 8 个 CPU 进程
保留验收 16 来源两方向，Fair/Fair 与新策略/Fair，共 64 局
推进门槛 ≥ 4 来源改善、来源均差 ≥ +0.10、实际多回合多类型改选、正确性与成本通过

“来源”指同一开局交换蓝红的两局。超时、故障、未开始都保留为未知，不通过删除未知局得到正面结论。

结果

本文是方向决策，没有运行训练或对局。启动前还必须冻结：特征与参数的完整映射、来源到各代的分配、CEM 的初始分布和精英比例、未知局如何影响排名、多回合改选门槛和恢复语义。

失败与负结果

无新增运行。需要说明的是，外部审阅只读了摘要，并表示没看到用户在上一轮之后指定新算法的原话；本文记录的是技术建议与采纳决定，不冒充用户原话。

局限

参数少、对手固定为 Fair，即便成功也不能外推到更强对手；“每回合改变倾向”需要实测证明确实产生跨回合、跨动作类型的差异。

结论与下一步

采纳整局 CEM 作为下一项实验。实际执行（实验 0200）因引擎异常在完成第一代前中止；之后路线又转向 Masked PPO（实验 0201–0203）。