摘要
实验 0068 中,威胁圈规则 AI T(在默认公平 AI v59 上只改近战单位的推进落点)在 600 个来源上比 v59 强 +0.103。但 T 是在那批来源上看过结果后才确定的候选,可能带着选择偏差。本实验在看到 0068 结果前冻结协议,用 320 个全新来源再测一次。
结果:+0.025,95% 区间 [−0.0406, 0.0875],下界不大于 0,未通过。T 不作为 Arena 选项交付。
要回答的问题
T 对 v59 的优势在新来源上是否稳定?对其他风格的对手是否也不吃亏?
方法
- 冻结 T 的代码与规则版本(Core452),不改参数。
- 主检验:320 个新来源(种子 70000–70319)。一个来源是一个随机种子生成的镜像开局,T 执蓝、执红各一局对 v59,共 640 局。来源差 = T 两局得分和 − 1。
- 区间:来源层面自助重抽 10,000 次(种子 0)的 95% 百分位区间。
- 跨对手检查(只描述,不作门槛):另 96 个新来源,T 分别对 H3(英雄无敌三式规则 AI,见实验 0068)和随机扰动对照各打 192 局。
- 通过:主检验均值 > 0 且区间下界 > 0;不通过就不追加来源、不调参重跑。
设置
事先估算的功效(检出概率):320 来源的区间半宽约 ±0.067;真实优势 +0.10 时约 83% 能检出,+0.05 时只有约 31%(要 80% 需约 1180 来源)。4 个工作进程;每局保存并重放校验。
结果
| 组 | 来源差 [95%] | 好/差来源 | T 胜 / 对手胜 | 双输 |
|---|---|---|---|---|
| 主检验(对 v59) | +0.025 [−0.0406, 0.0875] | 59/51 | 328/278 | 34 |
| 对 H3(描述) | −0.1354 [−0.2396, −0.0312] | 8/21 | 83/97 | 12 |
| 对随机组(描述) | +0.1354 [0.0104, 0.2604] | 26/13 | 109/74 | 9 |
1024 局 0 故障,全部重放校验。决策 p95:T 0.0668 秒,v59 0.0664 秒。
失败与负结果
- 主门槛未通过;0068 的 +0.103 在新来源上没有复现。
- 未验证的解释:0068 的估计含选择偏差与抽样波动;真实优势可能在本次区间的 0 到 +0.09 之间。按功效估算,+0.05 的真实优势在 320 来源上只有约 31% 能检出,所以“未通过”不等于“T 没有任何优势”。
局限
跨对手检查各只有 96 个来源,只作描述。镜像开局、Core452 规则。
结论与下一步
按冻结协议结案,不追加来源、不调参重跑,T 不交付。同一批来源上的 H3 验证见实验 0071。
Comments