摘要

这款回合制战棋游戏的战场上站着各方的生物(兵堆)。视觉理解模块里有一个“身体检测器”:输入一张截图,输出每个生物身体的方框,后续再判断它是哪种生物、属于哪一方。玩家打开法术书时,一本大书会盖住战场中间,书的左右边缘、上下沿只露出生物的一部分:一只翅膀、一截尾巴、一个头。旧检测器在这种“局部身体”上漏检很多,而之前用少量书页图过采样续训的尝试(内部称 p912)已经失败,会让普通战场变差。

本实验(内部批次号 B095)不训练模型,只做一件基础工作:按“当前截图里确实看得见的身体像素”给书页截图补精确的定位标注,审查来源边界后导出成已有训练流程能读的格式,并用旧模型已保存的预测看看新参考暴露出的短板。

结果:7 张图共标出 42 个当前可见身体,其中 16 个旧模型完全没提出、需手工补框;可用于训练的是 6 张图 35 个身体。旧检测器在这 6 张图上只找到 19 个,书页边缘的局部身体 21 个里只有 6 个框合格。

要回答的问题

  • 书页截图里到底有多少当前可见的身体?旧模型漏了哪些?
  • 这些新标注能否在不破坏既有来源隔离的前提下进入训练数据?
  • 新参考能指出检测器哪类目标最弱?

数据与来源

  • 上一轮(B094)首轮挑过一组书页图:每个训练来源组取第一张稳定书页,共 7 图 / 7 组。来源分组沿用项目早期定的分组表(B047)。
  • 预标:复用已保存的旧检测器候选框(包括被“面板过滤”去掉的框),只当提示,不当真值。
  • 为分清相邻身体和同一身体的不同部位,另看了 4 张同来源、没有书页遮挡的截图,只作人工审核时的上下文,不用来补出被书完全盖住的身体,也不把那里的身份抄过来。
  • 不读评估图(B093 的 10 张图本轮没有再跑)、旧测试图和冻结来源(17–22)的像素。

方法

标注规则(先冻结再标):

  • 框按当前可见身体像素画;真实存在但身份或变体不确定的碎片保留定位标签,身份字段为空。
  • 武器孤片、英雄模型、书里的法术图标、书签和绑带、头像、数量牌(单位脚下显示兵数的小牌)都不算身体。
  • 两个身体按当前像素分不清时记为疑点并把该图隔离出训练,不能把疑点当背景负例。
  • 本轮只负责定位;身份一律标为“未标注”,不用模型首选名字充当标签。

审核过程: 逐张看完整图、原生分辨率的左右边缘和上下沿、42 个最终框裁图、34 份规范身体参考图和 6 处放大片段。旧宽框按可见轮廓修紧或拆分。几处典型修正:两个被圈成“麒麟”的框其实只是书脊,没有身体;一个绑带大框里混了两个不同身体的碎片,分别重画;一处蛇身框在第二次原生裁图检查时向两侧扩大,补回露出的翼和尾羽。因此第一版标注(v1)被第二版(v2)取代,v1 保留但注明不得用于训练。

来源边界: 10 月 4 日 22:15 这段录像在通用 UI 任务里属于训练来源,但在身体检测任务里一直是“未训练过的开发回归来源”(用来检查改动后有没有退步)。为保持这条隔离,它的 1 张图、7 个身体只做精标和诊断,不进训练。其余 6 个 10 月 3 日来源组共 6 图 35 身体可用于定位训练。

导出: 用生产代码里已有的训练视图函数导出,图片路径仍指向原图,不复制图片、不移动录像。与原有 401 图 / 4588 身体合并后为 407 图 / 4623 身体,原 401 图参考没有改动。

评分: 不重跑神经网络,只用已保存的旧预测。固定置信度阈值 0.4,预测框和参考框一对一匹配,IoU(两个框交集面积除以并集面积)≥ 0.5 算找到,只评定位、不评身份。

结果

范围 参考身体 原始检测器 找到/误报 加可选过滤后 找到/误报 漏检或框不合格
6 张训练来源书页 35 19 / 8 19 / 5 16
保留的 10 月 4 日开发书页 7 3 / 1 3 / 0 4
  • 6 张图中“主体基本可见”的身体 14 个,检出 13 个;书页边缘的局部身体 21 个,只有 6 个框合格。
  • 唯一漏掉的主体可见目标是一只浮空的环状生物;其它缺口集中在头、翼、尾、窄衣摆和小肢端。最小的一个暗色肢端只有 25×30 像素,保留在困难分母里。
  • 6 图上的定位精确率 79.17%、召回率 54.29%;留出的单张图召回 42.86%。这张图是曝光过的开发难图,不能当独立总体召回率。
  • 这些数字是“新参考 + 旧预测”,新分母不代表模型变好或变差。

失败与负结果

  • 更正上一轮的负例判断。 B094 曾把一个框称为“纯紫/蓝书签”。本轮原生裁图发现其右下角还露出一小段白毛和弯角身体,更正为“书签占主导的混合框”。它与真实身体紧框的 IoU 不足 0.5,所以原过滤前后的计数不变,但整张裁图不能再当背景负例。原始预测和原决策保留,只追加更正记录。
  • 原面板过滤去掉的一个巨大框按新紧框本来就不合格,所以既不能说过滤“找回”了它,也不能说“弄丢”了它。B094 的颜色规则去掉 3 个书签主导的坏框,定位正确数保持 22。

局限

  • 这是助手辅助的定位精标,不是独立人工测量认证;局部片段的细边界仍有判断误差。
  • 42 个身体都没有身份标签,不能当成 42 个已确认物种的训练样本。没有宣称这 7 张图的全部 UI 都标完了。
  • 只有一张留出图,不能代表跨来源泛化。没有测延迟,没有 App 验证,也没有完整 10 场验收。
  • 55 项既有训练视图、来源分区相关软件测试通过,这只说明数据格式和分区正确,不是识别质量认证。

结论与下一步

本实验交付的是可用的训练参考:6 图 35 个可见身体框,以及一张保持隔离的开发图。它清楚地显示旧检测器在书页边缘的头、翼、尾、小肢端上最弱,这不是“多抽几张类似开局图”能补的。

下一步先固定局部身体的训练和选模方法:复用这 35 个框和已有的合格困难参考,从训练来源内留一个来源专门验证局部能力,同时检查普通战场不退步;不能重跑已失败的小样本续训配方碰运气,失败的候选照样保留记录。