摘要
玩家打开魔法书时,书会挡住战场中央,周围的部队只露出一部分。上一轮(B097)为这种画面补了 11 张训练参考,并发现旧检测器主要漏掉“局部可见”的部队。但当时用来判断泛化的留出图只有很少几张。
本轮 B098 不训练、不调模型,只做一件事:在看新像素和打分之前先固定选图规则,新增 8 张图、47 个可见身体,与之前两张留出参考合并成 10 张图、59 个身体、4 个来源组的开发集。这些图与训练集来源完全隔离,只能用于评估和开发选择。用冻结的旧检测器打分:找到 35 个、误报 4 个、漏检/坏框 24 个;主体可见 28/28,局部被遮只有 7/30。
要回答的问题
- 能否建立一个与训练来源隔离、覆盖多个来源的“魔法书遮挡部队”开发参考集?
- 在这个开发集上,旧检测器的失败类型是否与训练来源里看到的一致?
数据与来源
- 选图规则在看像素前固定:10 月 4 日 22:15 的一段录像中 3 张尚未精标的图、10 月 3 日 23:10 的 1 张、10 月 2 日 23:13/23:33 合并来源的 4 张,共 8 张新图(来自 4 个录像文件,但只算 3 个新来源组)。再加上之前两张留出参考,共 4 个来源组。
- 它们都不在训练用的 417 张图和五个训练来源组里。其中部分图曾用于界面识别训练或校准,所以只能称“对身体检测模型来源隔离的开发集”,不是整个界面识别系统的独立测试集。
- 最近的 10 月 5 日数据、原测试/历史审计和冻结来源都没有读取像素。
- 另有 3 张同源无遮挡画面只辅助分辨已可见的身体,不补隐藏部位,也不计入图数。
方法
- 三张复用已保存的旧检测器输出,五张实际运行冻结的旧身体检测器、身份候选和书签过滤。上一轮失败的新模型不使用。算法候选只用来找标注线索。
- 助手逐张看原图、两侧、疑难放大图和全部 47 个最终框,补漏、去重、拆混合框。只标当前可见的活体身体,排除英雄、尸体、界面、孤立特效;不从数量牌或历史位置推断看不见的身体。身份不标。
- 补出的难点有:蓝色书签后面深色的悬浮身体、绑带后旋转的环状身体、英雄旁边独立生物的窄片段、法术说明框上方露出的羽毛等。最终复查修正了两个生物之间一把镰刀的归属。
- 新图全部标为“验证集、不允许进入训练”。
设置
分数 ≥0.4、一对一 IoU(交并比)≥0.5 才算找对;坏框同时算误报和漏检。按来源组、按可见程度分别报告,不和其他分母拼成总体分数。
结果
| 来源组 | 图 | 参考身体 | 找对 | 误报/坏框 | 漏检/坏框 |
|---|---|---|---|---|---|
| 10 月 2 日 23:13/23:33 合并组 | 4 | 22 | 14 | 1 | 8 |
| 10 月 3 日 23:10 | 1 | 7 | 4 | 0 | 3 |
| 10 月 3 日上午片段(之前的留出图) | 1 | 5 | 4 | 1 | 1 |
| 10 月 4 日 22:15 | 4 | 25 | 13 | 2 | 12 |
| 合计 | 10 | 59 | 35 | 4 | 24 |
合计精确率 89.74%、召回率 59.32%。仅新 8 张:找到 28/47,误报 3,漏检/坏框 19。按可见程度:主体可见 28/28,局部被遮 7/30,极小片段 0/1。
这与上一轮在训练来源里看到的模式(主体 21/22、局部 12/40)一致,但两组的分母和用途不同,不合并成系统准确率。
失败与负结果
旧检测器对局部被遮的部队召回很低(7/30),这是本轮重复确认的主要失败。参考是助手结合预标精修的,不是独立人工金标准;透明体和局部边缘仍需抽查。
局限
- 10 张图、4 个来源组是开发选择集,不是 10 场独立真实对战验收。
- 没有标身份、数量、阵营、行动方或伤害关系,不宣称整图精标。
- 30 项相关数据/定位/训练视图测试通过,只说明数据格式和来源审计正确。
- 没有新的延迟测量,也没有模型晋升。
结论与下一步
开发分母已就绪,下一步应实际补训并验收,而不是继续盘点数据。计划:保持上一轮的训练配方不变,只改变训练覆盖(加入 B097 的 16 张新训练图/92 个身体并回放原 401 张),固定使用最后一轮权重、不挑种子和阈值,以便分清“加数据”的作用。预定的推进门槛:开发集至少多找回 5 个、原来找对的 35 个一个不丢、误报不超过 4 个,且至少两个来源有恢复、每个来源找对数不下降;再检查普通战场整图和原界面读数不退步。这个门槛远低于项目 95% 的要求,通过也不代表可用;如果失败,要先查清局部错框和重叠的原因,再改方法,不能用同一配方换种子碰运气。
Comments