摘要
实验 0223 说明“永远先打弩手”这种无条件目标在 3v3 里不成立。本实验让目标选择依赖公开局面:给每个敌方单位按 4 个公开特征打分(是否远程、是否飞行、是否贴近我方射手、已损失的初始生命比例),再加一个“分差超过多少才覆盖基线”的门槛,共 5 个参数。参数用 CEM(Cross-Entropy Method,交叉熵方法:每代随机采样一批参数,各打完整对局,取最好的几组更新采样分布)以整局胜负训练。
与 0218 那种“搜索没开始”不同,这次学习确实发生了:三代 24 个候选参数行、3 次分布更新、1188 局训练对局,训练门槛通过。但冻结后在 8 个新开发来源上,对基线 AI F 来源差 0(1 改善 1 退化),对 M 差 0,开发门槛失败。关闭当前五参数 3v3 路线,84 局保留未开。
要回答的问题
在侍从 / 弩手 / 狮鹫的 3v3 课程里,一个依赖公开局面的小参数目标策略,能否通过整局胜负训练,稳定地超过基线 AI F(Fair:只用玩家可见信息的搜索 AI),同时不输给集火近战脚本 M?
方法
策略(记作 C)。 对每个敌方目标计算四个公开特征并加权求分,目标切换有固定滞后 .25;只有当保留目标自己的得分领先其它目标、且领先幅度严格大于覆盖门槛时,才偏离 F。执行部分复用 0222 的目标执行器,保留 F 的免费动作和最终选择保护。两个事前写明的细节:初始生命取第一步之前双方各自的公开投影,不拿某方稍后首次行动时的残血;未知特征退回 F,不填 0。只有一个敌人时直接照 F。
训练。 3 代 × 8 个参数 × 12 个训练来源 × 双方 × 两个对手(F 和 M)= 1152 局候选对局,加 36 局共享基线,共 1188 局。排序分 J = 对 F 的保守差 + min(0, 对 M 的保守差),避免靠打赢较弱的 M 来刷分。每代取前 2 名更新均值和标准差。
设置(冻结的条件)
- 来源(一个固定的初始配置和随机种子):排除旧封存及 0222/0223 全部几何后,按原 194 组顺序扩为 3v3,32 个新来源:12 训练 / 8 开发 / 12 保留。
- 训练门槛:对 F 差 ≥ .125 且 3 个来源改善;对 M ≥ −1/24。
- 开发门槛:对 F 差 ≥ .125 且 2 个来源改善;对 M ≥ −.0625;至少 3 个来源实际改选。
- 保留门槛:对 F ≥ .10 且 3 个来源改善;对 M ≥ −1/24。
- 预算:训练 25 分钟、开发 10 分钟、保留 15 分钟;任何门槛失败即停止,不加第四代、不放宽边界、不换种子。
结果
单次运行 711.566383 秒;1188 训练 + 56 开发 = 1244 局,1223 局自然终局、21 局第 20 回合双输;0 未知、故障、替换、重试。三代的 J 依次为 −.125、0、+.083333。
最终参数:四个特征权重约为 .177、.090、.567、−.319,覆盖门槛约 .265(完整精度见实验记录)。
| 阶段 | 对 F | 对 M | 判定 |
|---|---|---|---|
| 训练(最终参数) | 差 +.125,3 改善 0 退化 | 差 −1/24,0 改善 1 退化 | 通过 |
| 开发(8 个新来源) | C 7 胜 9 负,F/F 双方 7 胜 9 负,差 0;1 改善 1 退化 6 持平 | C 与 F 对 M 都是 16 胜 0 负,差 0 | 失败 |
| 保留 | — | — | 未开始(12 初态未构造) |
开发 56 局为 54 局自然终局 + 2 局双输;8 个来源都有 C 的实际改选,但没有净收益。
正确性:20 个初态、44,547 个真实转移、31,182 个策略回执与记忆恢复、隐藏随机数检查和 1244 局双方结算重算通过;24 个参数行、3 次更新和日程重算一致。最大单次选择 .0799924 秒(并发小课程观察)。1244 局回放全部导入并通过桌面与手机宽度的交互检查。
两个开发对照的第一处分歧(只读,零新模拟): 改善例前 7 步相同,第 8 步 C 把攻击目标从弩手改为贴近己方射手的狮鹫;退化例前 14 步相同,第 15 步 C 把攻击目标从重伤的侍从改为狮鹫。两例都是“合法攻击改攻击”,不能简单归因为“有攻击却走路”,也不能从一步推出整局因果。
失败与负结果
- 训练过线、开发无净收益:这是有学习更新后的独立开发负结果。
- 正式比赛结束后的回放静态审查发现,旧实验 0218 的记录有参数却没有本实验新增的参数编号字段;导出条件改为两者同时存在才加标签。正式数据不受影响,没有补跑。
局限
- 本次有限数据无法区分是特征不足、搜索预算不足还是课程本身的局限;不能否定整个 CEM 方法。
- 学到的负“生命损失”权重不能当成普适战术规律,也不上线默认 AI。
- 训练过线靠的是 12 个训练来源,是在同一批来源上反复比较不同参数,并非独立样本。
结论与下一步
CEM 能在训练来源上找到过线的参数,但这五个参数刻画的偏好没有在新布局上带来收益。关闭当前五参数 3v3 方案,不在同一课题上继续刷分。下一步转向更接近真实对局的完整竞技场环境(英雄、法术、七种兵),在开局选择整局战术选项(见实验 0225)。
Comments