摘要
战斗画面上站着双方的生物(兵种),程序要先框出每个生物的“身体”(战场上的角色形象),再判断它是哪一种(144 个类别)。上一轮(B087)发现几种生物的识别特别差,例如“驯鹰师”在训练集里只有两条身体样本。直觉是“缺图,多补点”。
本实验(内部编号 B088)在补图前先回头看原有标签,发现问题不只是缺图:驯鹰师的两条原始样本一条其实是剑盾单位,另一条被相邻天使严重遮挡;还有真正的驯鹰师被标成普通弩手。修正这些训练标签、补 6 个精标样本、用完全相同的条件重训一个候选后,验证集上的身份 Top1 和完整图联合指标都有提升。
要回答的问题
在不改变模型、超参数和验证集的前提下,只修正训练标签并定向补少量样本,能否改善薄弱兵种的身份识别?
数据与来源
- 只从项目数据集(B13)里明确划为训练的录像取图;验证、测试、历史和封存来源一律不读像素。
- 从 6 个训练录像复用 72 张缓存候选图:先用已有检测器和身份模型自动初标,再逐张看概览、目标的原尺寸裁图和标准身体参考图。这不是 72 张全界面精标,也不算 6 个新独立来源。
- 选择页出现某个兵种选项,不能证明它真的被选上战场;没找到真实身体的候选段不强行补标签。
修订内容:
- 复审 74 条训练集里的弩兵家族身体:11 条身份纠正(9 条改为驯鹰师、2 条改为神弩手),2 条不可靠裁图从身份训练中隔离,其余 61 条保持。13/74 是定向挑出来的样本里的发现,不能当作整个训练集的错标率。
- 新增 6 个局部身体精标:3 驯鹰师、1 狡诈卧底、2 血色巫妖。
- 身体训练样本 4,588 → 4,592;144 类、28 个训练录像不变;715 条验证样本的图、标签、来源、顺序完全不变。原标注、权重、历史预测都保留,修订只作用于本次训练副本。
方法
与 B087 完全相同的设置:同一个公开 ConvNeXt 初始化、同样的随机种子、增强、裁剪、优化器和训练策略。只训练一个候选,最多 30 轮、连续 6 轮不提升就停。用验证集选检查点。
完整图评估沿用 B087 的联合协议:54 张穷尽标注的验证图、两个验证录像,检测器置信度 0.40 产出同样的 707 个预测框,与参考框 IoU ≥ 0.5 一对一匹配。“联合正确”指框定位对且身份对。不按真值裁剪或过滤候选。
设置
第 20 轮被选中,第 26 轮结束,训练 520.82 秒。检测器本身不变(689 个身体正确定位,定位精确率 97.45%、召回率 96.36%),所以完整图上的变化全部来自身份模型。
结果
| 相同分母 | B087 | B088 |
|---|---|---|
| 参考裁图身份 Top1(715 个) | 669 / 93.57% | 681 / 95.24% |
| 完整图:定位且身份都对(715 个参考) | 646 | 662 |
| 联合精确率(707 个预测) | 91.37% | 93.64% |
| 联合召回率(715 个参考) | 90.35% | 92.59% |
| 已定位 689 个身体的条件身份 Top1 | 93.76% | 96.08% |
| 最近视频 15 个明确预览目标(最近框+身份 Top1) | 13 | 13 |
参考裁图上 17 个恢复、5 个退步;完整图上 17 个恢复、1 个退步。原先 14 个升级弩手的联合身份错误全部恢复,说明这次标签修正确实有效。
失败与负结果
- 仍有 26 个参考框没被匹配、27 个已定位但身份错、18 个误检;联合 TP 662 / FP 45 / FN 53。身份错误同时算误检和漏检,不会从分母里消失。
- 完整图唯一新增退步:一个“侍从(升级)”被判成另一种生物。
- 剩余身份错误集中在树人升级 7 个、黄蜂升级 6 个等;树人框混入相邻单位,蜂类常混淆普通/升级,巫妖有强烈特效遮挡。这些都只作为复核线索,没有凭模型分歧去改验证真值。
- 黄蜂升级已有 38 例、8 个录像,错误不能简单归因于样本少。虫巢之母升级、地狱九头蛇变体的身体训练样本仍为 0。
局限
验证集用于选检查点,不是独立测试;95.24% 只是这 715 个参考裁图上的结果,不是全系统 95% 验收。候选分数未校准,没有切换默认模型,也没有测 App 整帧时延。本轮没有重跑全套测试。
结论与下一步
“识别差”的一部分根因是训练标签错,而不只是数据少。下一步先对蜂类和缺身体的变体做定向标签/框审核,在已准入的训练来源里补清晰身体、姿态和遮挡对照,然后冻结候选,再做来源隔离的完整图验证;不在同一验证集上追小幅调参。
Comments