摘要

项目里用来评测读取程序的“测试真值”，都是同一位助手逐像素精审标出来的，从来没有第二个人复核过。如果这位标注者有系统性偏差，所有评测都会跟着偏。本实验（编号 B145）请第二位独立复核者——另一个独立运行的助手——不看任何现有答案，只看原始截图、游戏知识库目录和战场网格资源，把一部分测试数据重新标一遍，再逐字段比对；有分歧的地方由协调者看原图裁决谁对谁错。

结论：在 10 局约 900 个可比字段里，原标注只发现 3 处错误（2 张截图的场景类别、1 个能力名的错字），英雄、法术、生物面板数字、战场数量与阵营色都没有发现错误；复核者自己在被遮挡的战场单位上错了 2 处。两位都是助手，这不是人工真值，但能排除明显的单人系统性错误。

要回答的问题

现有测试标注是否可靠到可以继续当评测参考？有没有单人标注带来的系统性错误？

数据与来源

全部来自“开发-验证”测试来源，冻结的留出数据不打开。四部分：

部分 内容
A 对局角色与法术 10 个测试截图包：我方在哪一侧、双方英雄、对方玩家名、双方施放的法术、对方施法事件（施法者、法术、时间）
B 场景 10 个包里全部 126 张截图的场景类别（是否稳定可读）
C 生物面板 测试包里全部生物面板（属性面板）：名称、数量、等级、生命、攻防、伤害、士气、幸运、先攻、速度、可见能力名
D 战场单位 每局 1 张中段战斗图：每个单位所在格子、队色、数量、兵种

方法

独立性规则：复核者不得读取任何现有真值文件、精审记录、草稿、模型输出和评分报告，也不运行识别模型；只能读原图、知识库目录（英雄、生物、法术名称与图标）、战场网格资源和协议本身。B 部分中，复核者只从包清单拿到文件列表，自己判断场景。

比对：只统计第一位标注者有值的字段；第一位没标的单独列出。不一致项列出双方取值与原图路径，协调者看原生像素裁决为“原标注对 / 复核对 / 都错 / 无法判定”。原标注文件不改，错误另写更正文件。

设置

两位标注者都是助手（复核者为独立运行的 worker）。比对脚本在复核完成后才编写运行。

结果

部分 字段 一致 第一位未标
A 对局（10 局） 我方侧、我方英雄、敌方英雄 各 10/10 —
敌方玩家名 9/9 1（该局无日志截图，复核者从顶部名牌读到）
敌方法术、我方法术、敌方施法事件 各 10/10 各 3（可见日志里没有施法）
B 场景（126 张） 场景类别 124/126 —
C 生物面板（31 个） 名称、数量、等级、生命、攻、防、伤害、士气、幸运、先攻、速度 每项 27/27，共 297/297 4 个面板第一位只标了场景
可见能力名 23/25 6
D 战场单位（10 张） 单位存在 122/123 —
阵营色 / 数量 / 兵种 122/122 / 122/122 / 121/122 —

分歧裁决

分歧 裁决
两张截图：第一位标“布阵”，复核者标“战斗画面（界面未显示）” 复核者对：没有战术阶段横幅和“开始战斗”按钮，已选中我方单位并显示移动范围，是开战瞬间界面尚未出现的过渡帧；第一位沿用了扫描时的场景猜测
能力名：第一位“繁殖扩散”，复核者“繁植扩散” 复核者对：游戏原文是“繁植扩散”
复核者多列一行能力名 规则差异：该行在面板底边被截掉一半，第一位不列、复核者列出并注明；两者都可接受，今后约定“截半的行不列”
一个被大单位挡住的红色单位：第一位“梅杜莎雕刻家”，复核者“臃肿仲裁者” 第一位对：行动条上对应红卡的头像与梅杜莎雕刻家一致
一个格子：第一位标有蓝色凤凰（数量未知），复核者认为是非生物物体 第一位对：该格是我方攻击预览的目标，预览框显示目标剩 3 个；同局更早时刻该格就是蓝色凤凰

失败与负结果

  • 原标注 3 处错误：2 张场景（过渡帧被标为布阵）、1 个能力名错字。
  • 复核者在 D 部分错 2 处（都标了低置信），说明被遮挡单位的兵种即使人工看也容易错。

局限

  • 两位都是助手，不是人工真值；一致只能说明两位独立判断相同，不能排除两者共同的盲点。
  • 只覆盖测试数据的一部分（10 局、126 张场景、31 个面板、10 张战场图）。
  • 被遮挡单位的兵种本身难以核实，战场单位 95% 的目标在这类单位上难以验证。

结论与下一步

这批测试标注可以继续作为评测参考使用。评分时，被裁定为“布阵”错误的两张截图按更正后的场景计；3 处更正写在单独的更正文件中，原标注文件不改。今后统一约定：被面板底边截掉一半的能力名行不列。