摘要

0212–0217 的逐步模仿和逐步优势学习都失败了。本实验换一种直接以整局胜负为目标的方法：CEM（Cross-Entropy Method，交叉熵方法）。它每代随机生成若干组参数，每组都打完整对局，挑出得分最好的几组，用它们的均值和方差生成下一代——不需要任何逐步标签。

在开始搜索前，协议要求先确认这个课程“有东西可学”：用三个固定的手写参数（基线、偏积极、偏等待）各打一遍，至少 4 个来源的终局结果要因策略而不同。结果 96 局全部正常结束，偏积极和偏等待也确实改了动作（10 次攻击改选、92 次等待改选），但 16 个来源中，每个来源的赢家在三种策略下都一样——0/16 来源有差异。准入失败，CEM 0 代、0 更新，课程关闭。

要回答的问题

在一个尽量简单的 1v1 课程里，“只在基线 AI 动作上做少量可学习偏好”的六参数策略，是否有机会通过整局胜负被优化？准入阶段只回答前置问题：这个课程里，不同策略能不能改变终局结果？

方法

课程。 每方一支部队，无英雄、法术、障碍。蓝方侍从（esquire），红方按固定规则从公开目录选第二种基础近战——结果是骷髅（skeleton）。数量从 12/16/20/24 中取不相等的有序对，位置取部署区第 1/3/5/7/9 行。上下镜像、左右镜像且交换双方的配置视为同一个“来源”（一个固定的初始配置），按固定顺序洗牌后选 36 个：16 训练、8 开发、12 保留。

六参数策略。 每次决策先取基线 AI F（Fair：只用玩家可见信息的搜索 AI）的动作，再给每个合法动作算 6 个特征：是否攻击、是否等待、移动后离敌人的距离减少量、以及前三者分别乘以公开生命差比例（己方总生命 − 敌方总生命）/（两者之和）。动作分数 = θ ·（该动作特征 − F 动作特征）；只有最高分严格大于 0 才改选，否则照 F 走。θ 全零时完全等于 F。

准入。 16 个训练来源 × 双方 × 三种固定策略 = 96 局：F 本身、积极参数 [2,−1,1,0,0,0]、偏等待 [0,2,0,0,0,0]，对手始终是 F。

设置（冻结的条件）

  • 准入门槛：至少 4 个来源的三策略来源平均终局分存在确定差异；≥ 95% 已知终局；正确性全过。
  • 若准入通过：CEM 3 代 × 8 候选 × 16 来源 × 双方 = 768 局；然后 8 个开发来源 24 局，要求来源配对差下界 ≥ +.125、至少 2 个来源改善、其中至少一个改善来自初始可见总生命较低的一方；再过才开 12 个保留来源。
  • 20 回合未决或仅临时生物存活判双输。预算：准入 + 搜索 + 开发合计 30 分钟。

结果

单次运行 16.363233 秒（含全部逐步审计和导出）。96 局全部自然终局，在第 2–8 回合结束；0 双输、0 未知、0 故障。

固定策略 受控方胜 / 负 来源均分 实际改选 转移数
F（基线） 16 / 16 .5 0 236
积极 16 / 16 .5 10，全为攻击 216
偏等待 16 / 16 .5 92，全为等待 327

14 个来源蓝方（侍从）始终赢、2 个来源红方（骷髅）始终赢，三种策略逐场保持同一赢家：信号 0/16。两个红胜来源是 12 侍从对 24 骷髅（总生命 144 对 144）和 12 对 20（144 对 120）。

正确性：779 个转移和完整公开输入、309 个六参数决策回执、96 次起始隐藏随机数扰动和双方独立终局奖励全部重算通过；81 项软件检查通过。96 局回放全部导入并通过交互检查。

失败与负结果

  • 准入门槛失败（0/16 < 4）：768 局搜索、24 局开发、36 局保留全部未开始，没有新模型。
  • 改选确实改变了动作、轨迹和终局回合，只是没有改变赢家；不能把结果解释成“策略没执行”。
  • 测试夹具首次因试图用不可覆盖的保存函数写同名文件而失败 1 项，换独立文件后通过，失败日志保留。

局限

这只说明这一组兵种、数量、布局和三个脚本没有提供终局区分信号。它不证明所有 1v1 课程或 CEM 都学不了，也不说明“骷髅必败”。

结论与下一步

在这个 1v1 课程里，结果几乎完全由初始配置决定，小幅偏离基线改变不了胜负，搜索没有可以攀爬的坡度。按停止线关闭，不换兵、不补种子、不放宽门槛。下一步回到 2v2 新来源，做一次有界的公开战术比较（见实验 0219）。