摘要
游戏战场上站着若干兵堆，每堆在画面上表现为一个生物的身体图像。读取程序需要先找到每个身体（定位），再认出它是哪种生物（身份）。本实验（编号 B093）不训练、不调阈值，只做一次评估：从 10 月 5 日五段近期录像中每段取一张开局战斗图和一张“魔法书打开、遮住部分战场”的图，共 10 张，人工把每个可见身体都框出并确认身份，然后看冻结的检测器和身份模型表现如何。
结果：开局战斗图上，“定位正确且身份正确”的身体占全部可见身体的 91.43%（64/70）；魔法书遮挡图上只有 52.94%（18/34）；合计 78.85%（82/104）。魔法书边缘露出的局部身体、相互重叠的身体和书页装饰是主要问题。
要回答的问题
在比旧验证集更新、更接近实际使用的截图上，冻结的身体检测器（项目内称 B13）加身份模型（B092）能找到多少可见身体、认对多少？错误主要来自数据不足还是别的原因？
数据与来源
- 按预先写好的协议，从前一轮准入数据的“评估”划分中，为五段 10 月 5 日录像（21:20、21:47、22:02、22:34、22:53）各选第一张稳定战斗图和第一张稳定魔法书图。
- 这五段是同一个晚上连续录的，保守地算作一个来源组，不是五个独立测试来源。这些图之前参与过界面开发，不是全系统未见的盲测；但与身份模型的训练来源不交叉。旧的九月测试集和封存验收来源没有读取。
- 标注过程：真实读取器先输出 94 个身体候选；助手逐张看完整图、所有候选裁图、五张原生边缘图，并与知识库中的标准身体图比对。新增 15 个漏掉的可见身体或身体片段，剔除 5 个“魔法书页装饰”误标，修正 3 个框。最终 104 个可见身体：97 个身份明确，7 个被遮挡、只能确定是身体但认不出变体。
- 7 个身份未知的身体仍算在定位分母和完整身份分母里，不删难例。不从数量牌、孤立武器或前一帧推断完全藏起来的身体。
- 未修改的框经过助手审核，但属于“模型辅助标注”，不是全部独立重画。
方法
使用真实的单图读取流程（含冻结的界面面板读取器，用来排除面板区域内的候选），模型和阈值全部不变。评估：
- 定位：预测框与标注框一对一匹配，重叠度 IoU ≥ 0.5 算找到。
- 身份：在匹配上的框里看第一名身份是否正确。
- 主指标“定位且身份正确 / 全部可见身体”，把漏检、身份错、身份未知都算作未完成。
设置
| 组别 | 图数 | 可见身体 | 其中身份未知 |
|---|---|---|---|
| 开局战斗图 | 5 | 70 | 1 |
| 魔法书遮挡图 | 5 | 34 | 6 |
结果
| 范围 | 预测框 | 定位正确（精确率 / 召回率） | 定位且身份正确 / 全部可见身体 |
|---|---|---|---|
| 开局战斗图 | 69 | 69（100% / 98.57%） | 64/70，91.43% |
| 魔法书遮挡图 | 25 | 19（76% / 55.88%） | 18/34，52.94% |
| 合计 | 94 | 88（93.62% / 84.62%） | 82/104，78.85% |
（如果按旧的联合指标把身份未知的排除，精确率 87.23%、召回率 84.54%；必须和上表完整分母一起读。）
错误细分：
- 开局图：69 个已定位中 5 个身份错；另 1 个重叠的身体没被定位，且其标注身份本身也未知。
- 魔法书图：15 个漏定位，其中 6 个是身份未知的小片段；1 个已定位但身份错；5 个纯书页装饰被当作身体；1 个装饰占主导的混合框（与真实蛇身 IoU 仅 0.409）算定位失败。
已定位却认错的真实类别，与它们在训练数据中的数量：
| 真实生物 | 训练中身体数 / 录像数 | 错成了 |
|---|---|---|
| 狡诈卧底 | 3 / 1 | 深渊执行者 |
| 膨肿仲裁者 | 0 / 0 | 黑色巨龙 |
| 守护者狮鹫 | 3 / 2 | 迷雾麒麟 |
| 寄生虫 | 25 / 5 | 与前方大天使重叠，认成大天使 |
| 守卫队长 | 34 / 6 | 与太阳圣盾变体混淆 |
| 剑士 | 49 / 6 | 书边只剩局部身体，认成盗墓贼 |
失败与负结果
- 魔法书遮挡场景是明显短板：召回只有 55.88%，5 个装饰框误报。
- 前三类错误直接暴露训练样本太少（0–3 个身体）；后三类训练样本不算少，却仍因遮挡、重叠、相似变体出错，说明“堆数据”不是唯一答案。
- 装饰误报属于界面负例缺口，靠继续堆正常身体解决不了。
- 膨肿仲裁者在另一张书页图上碰巧猜对，不代表训练中零样本的问题已解决。
局限
- 10 张图、一个来源组，不是独立验收，也不能当作总体准确率。
- 这个新分母首次系统计入书边局部身体，不能与旧的 715 身体验证集直接比较说“退步”。
- 52.94% 只是身体，不涉及魔法书文字或法术图标识别。
- 没有测速度，没有 App 或完整界面验收；评分相关的 9 项测试通过只说明评分代码正常。
结论与下一步
开局战斗画面表现尚可，魔法书遮挡场景明显不足。下一步：在已准入的训练来源里补书页装饰负例、边缘局部身体和重叠身体；检查能否用当前像素判定装饰区域，而不是把整条右侧硬遮掉（那样会误删真实身体）；同时定向补充样本极少的生物类别。这 10 张评估图保持不进入训练，改法冻结后再回来做一次回归，不用它们调阈值。
Comments