实验 0228（提案）：公开观察的小型残差自对战

摘要

这是一份只登记的提案，不是实验结果。截至本文写作时：0 实现、0 梯度更新、0 新来源、0 新比赛、计时也未启动。用户随后把工作重点转向整理与交接，这份方案没有被授权启动。

它的思路是：保留基线 AI F（Fair：只用玩家可见信息的搜索 AI）作为实际动作的来源，只训练一个很小的“残差”模型，在每次需要消耗行动的选择时，决定照 F 走还是换成 F 评分最高的另一类合法动作。学习信号是完整竞技场对局的终局胜负，用策略梯度（REINFORCE：按整局结果加强或削弱这局里做过的选择）更新；训练对手轮换 F、早先通过 2v2 验收的持续目标脚本 S、以及模型自己的历史版本（自对战）。

要回答的问题

在固定算力和严格来源分离下，这个小模型能否学到可迁移的“何时偏离基线”的时机，并在完整对局中同时优于 F 和未训练的初始残差策略？

与此前路线的区别

实验 0204：完整动作网络的 PPO；
实验 0216：单次反事实标签回归；
实验 0227：固定 16 维评分权重的 CEM（交叉熵方法）。

本提案的主要不同是三点组合：二元的“照基线 / 换一类”选择、完整终局策略梯度、多版本对手。它仍属于策略梯度强化学习，不能因此认为旧 PPO 的失败已找到根因，也不保证成功。

方法（拟定）

候选： F 动作来自现有公共选择；挑战动作是 F 评分最高、且与 F 动作类别不同的可选付费动作，并列按原菜单顺序。免费动作保护保持；没有挑战就照 F。
输入： 至多 32 个特征（含常数与所有“是否已知”标记），只来自当前公开观察、合法菜单、F 的公开评分和己方资源；未知不能当已知 0。
探索： 初始改选率约 5%，训练中限制在 1%–20%。
奖励： 本控制侧独立终局奖励，胜 +1、负 −1；20 完整回合未决或对方只剩临时生物时双输，双方各 −1。超时、错误、中止为未知，不产生梯度；不加伤害、移动或血量奖励。
基线： 只在离线学习器中用同来源、同控制侧、同对手的 F 终局结果降低方差，不作为在线特征。最终固定第 48 次更新，不按开发表现挑版本。

设置（拟定）

来源（一套固定的双方选秀构筑与开局随机种子）：64 个新的完整竞技场来源族，32 训练 / 12 开发 / 20 保留，排除所有既有开发、保留和封存族。
训练：48 批 × 32 场学习方比赛 = 1536 场，另最多 480 场 F 基线对局（F/F、F 对 S、F 对 6 个历史残差版本），训练阶段上限 2016 场完整对局、120 分钟（含审计），8 个低优先级 CPU 进程，不需要 GPU。
开发门槛（12 来源）：相对 F 平均得分差 ≥ +.10、至少 3 个来源净改善、相对初始残差严格正收益；单独对 F 的来源平均差不得 < 0。
保留门槛（20 来源）：相对 F ≥ +.075、至少 5 个来源净改善、相对初始残差严格正收益。
各阶段已知终局 ≥ 95%、零正确性故障。只允许一次训练、一次开发和条件保留；超时、非法动作、信息泄漏或数值异常即关闭，不延长、不补第二批。

尚未完成的事项

精确的 32 维特征表、二元概率与梯度形式、参数初始化与学习率、480 场基线的复用排程、开发和保留的完整局数、来源分组规则、对局进程与模型的保存恢复、回放适配——这些都要在第一次训练前冻结，目前都没有完成。历史脚本 S 必须按其原始语义冻结：优先确切的“弩手”，没有时选最近可见敌人；它不是“所有射手优先”，也不是已证明的强对手。

结论

本提案记录了一个可检验的下一步方向及其停止线，但没有任何结果。若将来执行，失败只约束这一方法与预算组合，不否定所有自对战方法；改选次数、训练回报、合法性和软件测试都不能替代独立来源上的胜负。