摘要

实验 0068 中,威胁圈规则 AI T(在默认公平 AI v59 上只改近战单位的推进落点)在 600 个来源上比 v59 强 +0.103。但 T 是在那批来源上看过结果后才确定的候选,可能带着选择偏差。本实验在看到 0068 结果前冻结协议,用 320 个全新来源再测一次。

结果:+0.025,95% 区间 [−0.0406, 0.0875],下界不大于 0,未通过。T 不作为 Arena 选项交付。

要回答的问题

T 对 v59 的优势在新来源上是否稳定?对其他风格的对手是否也不吃亏?

方法

  • 冻结 T 的代码与规则版本(Core452),不改参数。
  • 主检验:320 个新来源(种子 70000–70319)。一个来源是一个随机种子生成的镜像开局,T 执蓝、执红各一局对 v59,共 640 局。来源差 = T 两局得分和 − 1。
  • 区间:来源层面自助重抽 10,000 次(种子 0)的 95% 百分位区间。
  • 跨对手检查(只描述,不作门槛):另 96 个新来源,T 分别对 H3(英雄无敌三式规则 AI,见实验 0068)和随机扰动对照各打 192 局。
  • 通过:主检验均值 > 0 且区间下界 > 0;不通过就不追加来源、不调参重跑。

设置

事先估算的功效(检出概率):320 来源的区间半宽约 ±0.067;真实优势 +0.10 时约 83% 能检出,+0.05 时只有约 31%(要 80% 需约 1180 来源)。4 个工作进程;每局保存并重放校验。

结果

组 来源差 [95%] 好/差来源 T 胜 / 对手胜 双输
主检验(对 v59) +0.025 [−0.0406, 0.0875] 59/51 328/278 34
对 H3(描述) −0.1354 [−0.2396, −0.0312] 8/21 83/97 12
对随机组(描述) +0.1354 [0.0104, 0.2604] 26/13 109/74 9

1024 局 0 故障,全部重放校验。决策 p95:T 0.0668 秒,v59 0.0664 秒。

失败与负结果

  • 主门槛未通过;0068 的 +0.103 在新来源上没有复现。
  • 未验证的解释:0068 的估计含选择偏差与抽样波动;真实优势可能在本次区间的 0 到 +0.09 之间。按功效估算,+0.05 的真实优势在 320 来源上只有约 31% 能检出,所以“未通过”不等于“T 没有任何优势”。

局限

跨对手检查各只有 96 个来源,只作描述。镜像开局、Core452 规则。

结论与下一步

按冻结协议结案,不追加来源、不调参重跑,T 不交付。同一批来源上的 H3 验证见实验 0071。