摘要
战场生物读取器分两步:一个检测器在截图上框出每个生物的身体,再由身份模型判断是哪种生物。当玩家打开法术书时,书页右侧有几片彩色书签,检测器会把其中一些当成“生物身体”,产生误报。
项目里早已有一个书签定位器(用书签模板和梯度匹配找出每片书签),只是没接到身体候选过滤上。本实验新增一个很窄的可选规则:只有当某个身体框几乎正好覆盖“紫色 + 蓝色两片相邻书签”时才排除它;其他颜色组合和单片书签一律不动,因为书签之间的缝隙里可能露着真实生物。冻结后在 10 张回归图上,书页的身体定位精确率从 19/25(76%)提到 19/21(90.48%),召回率和身份正确数不变。去掉误报不等于找回漏检。
要回答的问题
能否在不误删真实生物、也不误删“书签 + 生物混合框”的前提下,排除纯书签造成的身体误报?
数据与来源
- 开发(训练来源):先按记录顺序从每个来源组选首张法术书页和首张普通战斗图,共 7 书页 + 6 无书页战斗 = 13 图;随后扩到全部 28 张稳定训练书页加 6 张对照,共 34 图、7 个来源组。与书签相关的 10 个身体框逐个裁图检查。这不是 34 张全界面精标,也不是完整的身体召回评估。
- 书签模板:从两张原训练截图裁出 10 张小模板。
- 回归集:上一轮已有的 10 张固定图(5 张书页 + 5 张开局,来自同一晚的录像)。这些图在界面开发中曝光过,与模板和训练来源分离,属于开发回归,不是盲测;它们不用于模板、训练或调阈值。
方法
- 先保存冻结的身体检测器、身份模型、真实界面流程和书签定位器的原始输出,再人工看书签位置和相关身体框。
- 训练集中三个纯紫/蓝书签误报框与两片相邻书签联合外接框的 IoU(重叠面积 / 并集面积)分别为 0.783、0.862、0.869,而真实身体更低。
- 否决通用规则:扩展到 28 张书页时发现,一组金/紫书签的缝隙里露着真实身体,它与两签外接框 IoU 也有 0.830。所以“任意两签重合就排除”不安全。
- 最终窄规则:只处理位置 2、3 的紫/蓝两签;两签都通过原定位门槛,左右边缘相差 ≤0.12 签宽,高度比 0.8–1.25,垂直间隙在 [-0.05, 0.35] 签高;身体框与两签联合外接框 IoU ≥0.75,且包含两签中心。0.75 在训练集上选定。被排除的框和匹配证据仍写在输出的“已排除”列表里。
- 规则冻结后才运行回归集;若回归误删真实框就拒绝晋升,不在回归集上调。
设置
检测器、身份模型、模板匹配阈值(0.90 分数、0.05 分差、三个尺度)都不变。新规则默认关闭,只有显式设置时启用;原默认调用、字段和公共导出不变,没有接入战斗记录 App。
结果
训练 34 图:身体候选 196 → 193,去掉 3 个当时标为纯书签的框;已检查的真实身体、金/紫缝隙里的身体和绑带混合框都保留。
冻结后回归:
| 回归范围 | 之前 | 本轮 | 仍存在的缺口 |
|---|---|---|---|
| 5 张书页的身体预测框 | 25 | 21 | 去掉 4 个纯紫/蓝书签框 |
| 书页定位精确率 | 19/25,76% | 19/21,90.48% | 1 个纯金签、1 个书签/蛇身混合坏框 |
| 书页定位召回率 | 19/34,55.88% | 不变 | 15 个局部身体仍漏掉 |
| 书页定位且身份正确 / 全部身体 | 18/34,52.94% | 不变 | — |
| 5 张开局图 定位 / 定位且身份正确 | 69/70、64/70 | 不变 | 1 漏定位、5 身份错 |
| 10 图总体定位精确率 / 召回率 | 93.62% / 84.62% | 97.78% / 84.62% | 不能只凭精确率说达到 95% |
| 10 图定位且身份正确 / 全部身体 | 82/104,78.85% | 不变 | 含 7 个身份未判定对象 |
4 个被排除的框都与回归集原有的“纯界面”标签一致;88 个原本正确的定位全部保持;金签/蛇身混合框没有被误删。
失败与负结果
- 事后标注更正:后续一轮重新看像素时发现,训练中一个当时标为“纯书签”的框,右下角其实包含一小段白毛弯角生物,应称“书签主导的混合框”。已单独补标真实身体紧框,原输出和决定保留并追加更正;回归集标签和指标未改。
- 4 个单片金签和重复误报仍保留,书签问题没有全部解决。
- 评分脚本第一次在写出正确指标后因结束断言用了错误键名报错;修正键名后重跑结果与已写指标完全一致,没有重跑模型或覆盖分数。
局限
- 回归集已在开发中曝光,结果是开发回归;没有重读旧测试集或封存来源。
- 规则只覆盖一种颜色组合,不是物理遮挡真值,不能推广为“整条右边栏遮罩”。
- 70 项读图/规则/模板测试和 22 项评分/来源隔离测试通过,不代表真实识别率;没有重测时延,没有跑完整测试套件。
结论与下一步
窄规则安全地去掉了一类明确误报,作为显式可选功能保留。但书页上的主要问题是漏检(34 个身体只找到 19 个),而不是误报。下一步从已准入的训练书页补标完整和局部可见的身体框,混合区域保留真实身体、不标成纯背景,覆盖不同位置、姿态和来源,再在旧类别回归约束下改进检测器;不再围绕这 10 张回归图调参。
Comments