摘要
用户的短期目标之一是“通过截图推断出对方的技能、魔法、装备”，并用一部分数据测试。难点在于：游戏里看不到对方的英雄面板（见 P121），对方的完整构筑没有真值，无法直接测准确率。
本实验（内部编号 B147）先写清每类信息能做到什么、用什么标准验收，然后用一个“对称验证”办法测量：我方构筑有真值，那就把对局里的真实对手声明为“我方”，让推断系统把我方当作“敌方”来推断，再拿我方真实构筑打分。结果：候选组在测试局全部正确，但覆盖率很低。
要回答的问题
在对方构筑不可见的条件下，如何为“对方技能/装备推断”设定可测的验收标准？现有推断在测试局上能否达标？
数据与来源
- 我方构筑真值：标注助手逐项对照像素核对 10 月 25 局的我方构筑（23 局有最终确认页，2 局只有英雄面板）。生产读取器读确认页的草稿 0 个错值，17 处改动都是补上未读出的空项（6 个子技能、9 个法术、1 个数量、1 个士气）。
- 划分：训练 15 局用于修改规则；测试 10 局（10 月的开发验证局）只评一次。冻结留出来源不打开。
- 输入是生产读取器对截图包的保存读数，经状态估计（SE，把观察累积成对局状态和对手构筑推断的模块）输出推断，属于端到端评测。
方法
能看到什么，决定标准的上限：
- 对方英雄：战场 HUD 头像和日志里的英雄名，可以直接识别。
- 对方魔法：只有对方施放过、且截到含该行日志的法术能确定；没施放的法术不可知（未知不等于没有）。
- 对方技能/装备：只能从间接证据推出“至少其一”的候选组，例如特定法术等级需要某个技能或宝物、法力消耗异常、生物幸运/士气高于基础值等。完整构筑不可辨识。
验收标准：
| 信息 | 标准 |
|---|---|
| 对方英雄 | 准确率 ≥95%，错报 0 |
| 对方魔法（日志中施放的） | 召回 ≥95%，精度 100% |
| 对方技能/装备候选组 | 组正确率 ≥95%（组内至少一项真实存在）；单选项断言精度 100%；同时如实报告覆盖率（真实构筑中被任何组提到的比例），不设门槛 |
| 对方部队 | 列出的兵种精度 ≥95% |
设置
只在技能/装备候选组上做对称验证。规则修改只看训练局。
结果
| 划分 | 局 | 候选组 | 组内含真实项 | 单选断言 | 断言正确 | 真实构筑被提到的比例 |
|---|---|---|---|---|---|---|
| 训练（第一次） | 15 | 17 | 15（88.2%） | 9 | 7 | 12/364 |
| 训练（修正后） | 15 | 17 | 17（100%） | 7 | 7 | 14/364 |
| 测试（只评一次） | 10 | 14 | 14（100%） | 4 | 4 | 15/231（6.5%） |
训练上唯一的修正：规则“耗魔比目录少 2 → 魔力弹性”两次都错，因为那两局我方装了魔法拖鞋（法术耗魔 −2）。规则改为“魔力弹性或魔法拖鞋”。
按事先的标准，测试局的候选组正确率和单选断言精度都达标。
新增“观察到的 / 推断的”页签：比较我方英雄开战 HUD 与最终确认页、我方魔法书等级与耗魔、生物面板与资料基础值，把我方被降低的量对应到对方可能的宝物/子技能（百分比来源相加后向下取整，数值经模拟器负责人用项目规则模拟器复核）。例如训练局中法强 20→18（−10%）对应两种可能的宝物；测试局中所有学派 −1 对应两种戒指之一。这些推断没有准确率，只能保证每条候选都能解释所见现象。
失败与负结果
- 覆盖率很低：测试局真实构筑只有 6.5% 被任何候选组提到。这是信息本身的上限——绝大多数技能和装备不会在截图里留下可识别的痕迹，不是识别错误。
- 修正前训练局的“魔力弹性”规则两次断言错误，说明单一来源的断言很容易漏掉同效果的其他来源。
局限
- 标注是助手精审，不是人工真值。
- 对称验证假设我方与对方的推断条件对称；对方真实构筑仍不可见。
- 测试只有 10 局，组数 14、断言 4 个，样本很小。
- 本次只测了技能/装备候选组，英雄、魔法、部队的标准只是写下，未在此一并测量。
结论与下一步
“对称验证”让不可见的对方构筑推断有了可以打分的办法；在这个办法下现有候选组达到了事先定的标准。但覆盖率的上限很低，要提高只能靠更多可见证据（日志伤害、战场状态的变化等），而不是更好的识别。
Comments