摘要
识别系统的测试成绩依赖“测试真值”（标准答案）。26 个从旧录屏切出的测试局（444 张截图）此前只有一位标注者（AI 助手）精审过，之后要用来评估确认页读取和端到端按键回放。单人标注可能有系统性错误，于是本实验请两位独立复核者不看原标注，直接从截图像素重标，再逐字段比对、对分歧看原图裁决。
结果：身份、开局属性、生物面板数值、我方构筑的绝大多数字段完全一致；唯一的取值冲突经看原图裁定为原标注正确，另有 8 处原标注留空的字段由复核补全。结论是这批标注可作为测试真值使用。需要强调：两位复核者也都是 AI 助手，不是人工真值；这次二审的目的是发现单人标注的系统性错误。
要回答的问题
旧录屏测试局的单人标注是否存在系统性错误，能否作为测试真值？
数据与来源
- 26 个旧录屏测试局的按时间顺序截图包（只含先前接收的帧）。
- 复核者只读截图 PNG、游戏资料库的名称表与参考图标、协议本身；不得读取原标注、草稿、裁图、任何模型/路由器输出或评分，也不运行识别模型或 OCR。帧清单只用于得到文件列表，不读其中的场景和审核字段。
方法
每局重标四部分：
| 部分 | 内容 |
|---|---|
| A 对局角色与法术 | 我方在左/右、我方英雄、敌方英雄、敌方玩家名；可见战斗日志中敌方施放的法术和事件 |
| B 开局英雄栏 | 第一张可读战场画面上双方英雄的攻击、防御、法强、魔法 |
| C 生物面板 | 每张生物面板：名称、数量、生命、攻、防、伤害、士气、幸运、先攻、速度、归属哪方 |
| D 我方构筑 | 最终确认页（开战前确认双方构筑的页面）：英雄、主技能与等级、子技能、10 个法术与等级、装备、军队与数量、属性 |
复核完成后由协调者编写比较脚本，逐字段比对原标注；分歧对照原图裁决为“原标注对 / 复核对 / 都错 / 无法判定”。原标注文件不改，更正另存。
设置
两位复核者独立工作；比较脚本只比较 JSON。
结果
| 部分 | 一致 |
|---|---|
| 我方侧、我方英雄、敌方英雄、敌方玩家名 | 各 26/26 |
| 敌方已施放法术 | 34/36（2 处只是同一法术写法不同） |
| 开局英雄栏（双方英雄、攻、防、法强、魔法） | 各 52/52 |
| 生物面板 63 张配对（各数值；归属 61/61） | 全部一致 |
| 我方构筑：英雄 24/24，技能与等级 137/137，属性 144/144，军队数量 167/167 | 全部一致 |
| 我方构筑：确认页法术 237/240、法术等级 237/237、军队 167/168、装备 215/217、子技能 211/221 | 差异见下 |
失败与负结果
共 11 条分歧：
- 唯一取值冲突：某局鞋子，原标注“魔法拖鞋”、复核写“军阀靴子”。看原图是带尖刺与圆扣的银色矮鞋，与魔法拖鞋参考图一致（军阀靴子是高筒护胫），裁定原标注对、复核错。
- 原标注留空、复核补值（8 条）：1 个子技能、4 个“同图同父技能只能二选一”的子技能、3 个确认页法术、1 个军队兵种。按复核值补全，不改已有取值。
- 写法差异：同一法术带不带等级前缀。
复核者也报告了易错点：同图子技能要按父技能判断；确认页与战斗中英雄栏的数值本来就可能不同；双方同名部队要按行动条（显示行动顺序的卡片条）底色判断归属。
另外，在后续确认页评分中发现两个标注格式问题（取值正确）：一组 8 局的装备槽位用了自定义叫法；一局的法术列表先列战斗法术书、后列确认页 10 个法术。评分脚本已做别名归一和按名称比对。
局限
- 两位复核者和原标注者都是 AI 助手，这是“模型目视交叉核对”，不是人工审核（REVIEWED）。三者若有共同盲点，二审无法发现。
- 只检查了协议中列出的字段，不覆盖截图上的全部界面信息。
结论与下一步
独立二审没有发现原标注的错误取值，旧录屏测试局可作为测试真值使用，留空处以复核值补齐。由于审核者并非人工，若要对外宣称准确率，仍需要人工抽查。
Comments