摘要

玩家打开法术书时,书页会盖住战场的一大块,书边上只露出生物身体的一部分。生物身体检测器在这种画面上会出现各种“误报”和漏检。上一轮的补训有一些恢复,但也带来新的误报和旧场景退步,没有采用。本实验不训练新模型,而是先回答:这些错误候选框到底是什么?单靠调整候选的去重/排序规则能补回多少?

结论:29 个按几何评分算作误报的框里,只有 5 个是纯书页 UI,其余大多包含真实身体(重复框、与书扣混在一起、截断等)。最直接的“包含就删”规则被否决:只少 1 个误报,却删掉 5 个真实恢复。用真值做理论最优一对一匹配,候选池最多覆盖 85/92 个身体,剩下 7 个根本没有合格候选,所以光训练一个“删框器”解决不了问题。

要回答的问题

  1. 书边场景下的错误候选框,语义上分别是什么?能不能直接当背景负例训练?
  2. 不重新推理、只改几何去重规则,能把检测结果改善多少?
  3. 固定候选池的理论上限是多少?

数据与来源

只使用上一轮保存的 16 张训练帧(5 个来源组)、已有的 92 个可见身体人工框,以及冻结的模型候选:原整图分支和新局部分支中分数 ≥0.4 的候选共 161 个。没有读取开发集、测试集或封存来源的像素。注意这些帧已参与过身体模型训练,所以不能当独立质量验证。

方法

  1. 用现有一对一 IoU(交并比)评分给每个候选初标几何质量。
  2. 助手逐个查看全部 29 个错误候选和 8 个仍漏检的身体,做语义复核。IoU 不合格不能自动当纯背景:框里有身体但混入 UI 或邻体、截断、重复,都分别记录;判断不了就保留未知。
  3. 运行前冻结四个不使用真值的去重方案(IoU 阈值 0.5、包含率 0.9,不做网格搜索),在同一组 161 个候选上比较:
    • 原方案:整图分支优先,再用局部分支补充;
    • 两个分支各自先做 NMS(重叠框只留最高分),再按原规则补充;
    • 两个分支合并,按各自原始分数做一次 NMS;
    • 原方案基础上,局部候选若与已保留框的交叠面积占较小框面积 ≥0.9 就删除(“包含率去重”)。
  4. 另用真值做最大二分匹配,算出固定候选池的理论上限,并用另一种动态规划方法独立复核。这个上限明确标为“真值 oracle”,禁止进入推理。

设置

两个分支的分数没有校准到同一尺度,所以“合并排序”只是诊断,不默认合理。所有对照只在训练材料上进行。

结果

29 个评分误报的真实含义:

类型 数量 训练时应如何处理
几何合格的同一身体重复框 8 身体正例;不能当背景
身体与书扣/书脊/书签混在一个框里 12 有身体但框质量差
身体截断、混入地面光效 1 有身体但定位不合格
纯书页 UI 5 生物任务的非身体例
骑马英雄 3 英雄,不是生物兵堆;单独角色

161 个候选中,140 个是几何正例、153 个“包含生物身体”——这两个标签不能混成一个。

8 个剩余漏检 都是局部可见身体:窄黄色主体、书签之间的蓝色片段、绑带上下分段的主体、书扣下的翅膀/肢体、窄衣摆等。其中 1 个已有合格的局部框,却被原规则的“宽框优先”压掉;其余 7 个在候选池里没有可行覆盖。

固定几何对照(仅训练材料诊断):

方案 TP FP FN 相对原方案 恢复/丢失
原方案:整图优先补充 84 24 8 0 / 0
两分支各自 NMS 再补充 84 20 8 0 / 0
两分支按原分数合并 NMS 85 19 7 1 / 0
原方案 + 包含率去重 79 23 13 0 / 5

理论上限(真值最优匹配):85/92。

失败与负结果

  • 包含率去重被否决: 5 处都是“原来的大坏框包含了新的好框”,好框被删。六个变化目标(五丢失、一恢复)全部做了对照图逐项查看。
  • 合并排序恢复了那个蓝色身体,但分数尺度不统一,只是训练曝光材料上的诊断,不接入读取器,也不声称跨来源精度提高。
  • 中间导出的 v1 记录没有把“身体存在”和“几何质量”分开,不用于后续训练;v2 没改像素、候选、身体标签或分数。

局限

  • 材料已参与身体模型训练;来源组数不等于独立真实对局数。
  • 其余 132 个候选只是继承已审框的几何结论,没有重新逐个语义精审。
  • 框回归目标暂设为空:最近 IoU 目标只用于诊断,尚未证明一一对应。
  • 没有新模型、完整帧延迟或 App 验证。

结论与下一步

本实验交付了一份区分“几何质量”和“是否包含身体”的训练错误集,并且改变了下一步方向:把所有误报当背景会污染标签,单靠排序/去重最多补回一个漏检。下一步选择“局部定位 + 显式的英雄/书页 UI 负例”训练对照,用已精标的完整帧生成目标集合,不把混了多个身体的坏框强行归给最近一个;先在训练材料上固定方案,再到开发集检查恢复、丢失和误报。