摘要

要评估实时 App 是否“采到了该采的画面”,需要先知道一局录像里哪些时刻出现了有价值的画面:法术书、Logs 战斗日志、生物面板、英雄面板、攻击预览(鼠标悬停目标时显示预计伤害的小框)、结算画面等。之前已有两段录像做了这样的时间线;本实验给第三段——一局用户对官方电脑 AI 的对局(10 月 9 日 08:38,训练池,2560×1440,容器时长 765.131 秒)——做同样的时间线。

结果是 118 段带起止时间的画面区间,格式与另两段完全相同,两个现有的读取脚本不改就能读。过程中顺带发现:生产的预览线索会把景物误当预览、看不见绿色的治疗预览;场景门(PhaseGate,按画面外观给帧分类的生产组件)会把半透明日志和“敌方回合”横幅误标为生物面板。

标注级别是模型目视核对(模型看帧判定),不是人工审核。

要回答的问题

这局对电脑的录像里,每种有价值画面从何时到何时出现?现有生产线索在这些画面上有哪些漏报和误报?

数据与来源

只用这一段录像;没有打开冻结或留出数据,没有修改视频,没有操作游戏或 App。

关键时间(媒体秒):

阶段 时间
准备(选英雄、技能、宝物、法术、军队、正面效果) 0–75.0
全部确定页 75.5–76.0(2 帧)
布阵(战术阶段) 76.5–96.5
战斗开始(第一张有 HUD 和行动条的帧,电脑先手) 98.0
最后战斗帧 758.5
结算:战败(我方全灭) 759.0–762.5

战斗约 661 秒、5 个回合。与另两段不同:对电脑时准备很快(76 秒),结算是战败(另两段是胜利)。

方法

时间约定。 以每秒 2 帧为网格(第 k 帧 = k×0.5 秒)。区间从第一次看到该画面的帧开始,到最后一次看到的帧再加 0.5 秒结束;淡入淡出帧算在区间内并注明。区间可以重叠(例如面板与预览同时出现)。

步骤。

  1. 一次解码同时得到 2 帧/秒的 960×540 小图(1530 帧),以及每个原生帧上生产预览线索(一个骷髅图形模板,阈值 0.756)的分数和所有 ≥0.70 的匹配位置。解码墙钟 183 秒(2 核)。线索只用来找候选。
  2. 用 2 秒一张的概览定位阶段;准备阶段 1 秒一张;布阵和战斗 76.5–764.5 秒每个 0.5 秒帧都看了(87 张 4×4 联系表)。所有生物面板的标题栏都放大核对过,所有面板的首末帧及前后各一帧都单独看过。
  3. 准备进度条给出准备阶段分界,只作提示,再目视确认。
  4. 用生产场景门给每帧打标签作交叉检查(不作标签)。
  5. 攻击预览:发现左侧 HUD 下方有一块白色雾状景物被线索反复匹配,用遮挡框去掉它;遮挡后 ≥0.756 的 119 个战斗帧逐帧裁图目视;候选之间 1.5–3 秒的空隙逐帧检查(36 帧);0.70–0.756 的 39 个边缘帧也逐帧看。间隔 ≤1.0 秒的段合并。
  6. 治疗预览:用户对己方施放治疗法术时,预览框是两个绿色图标,骷髅线索最高只有 0.62–0.74。用绿色图标做模板在绿色掩码上匹配,候选帧逐帧目视。这是一个新类型。
  7. 合成时间线,并生成审核页(每段显示前后帧缩略图,可点“对/错/边界不对”,进度只存在浏览器里)。

设置

本目录的 9 项测试(帧号约定、标注合法性、同类不重叠、预览合并规则、遮挡框、输出字段与另两段一致等)通过。

结果

画面类型 段数 合计秒 只看到 ≤2 帧的段
准备其他页(按阶段粗标) 6 75.5 0
全部确定页 1 1.0 1
布阵 1 20.5 0
布阵中英雄面板 2 5.0 0
布阵中生物面板 3 8.0 0
战斗开始 1 0.5 1
战斗法术书 17 98.0 0
战斗日志 35 105.5 4
战斗英雄面板 0 0 0
战斗生物面板 15 64.0 0
攻击预览 31 65.0 14
治疗预览(新类型) 3 9.0 2
结算(战败) 1 4.0 0

有价值画面并集 433.5 秒。和另两段相比,这局生物面板都开得久(15 段没有一段 ≤2 帧),日志几乎每次行动后都打开,战斗中没有打开英雄面板。预览核对时去掉 1 个假阳性帧(顶部白色雕像),补回 6 个漏检帧(淡入淡出)。

用模拟采集策略读取这条时间线(1365 个采样):

策略 读取次数 生物面板 英雄面板 法术书 日志 区间外读取
立即读 147 18/18 2/2 17/17 35/35 4
稳住再读 101 18/18 2/2 17/17 35/35 4
稳住再读(书、日志) 112 18/18 2/2 17/17 35/35 4

这局面板开得久,三种策略都读到了全部区间;“画面稳住再读”把读取从 147 降到 101–112。4 次区间外读取都是场景门把半透明日志或“敌方回合”横幅标成了生物面板。

失败与负结果

  • 预览误报: 不遮挡时,战斗中有 131 帧线索 ≥0.756,其中 13 帧不在任何真预览里(12 帧在左侧固定景物上、1 帧在顶部雕像上),App 会把它们当成预览线索;布阵中还有 1 帧。
  • 治疗预览完全看不见: 3 段共 18 帧,骷髅线索最高 0.74。
  • 场景门误标: 半透明日志 3 帧、“敌方回合”横幅 1 帧被标成生物面板。
  • 每个真预览段至少有一帧原始线索 ≥0.756(不会整段漏掉),但段内有 12 帧低于阈值(淡入淡出和合并空隙)。

局限

  • 0.5 秒网格可能漏掉更短的画面。
  • 合并规则会把同一次悬停中换目标的预览并成一段,中间个别帧其实没有框。
  • 准备阶段没有逐页拆分;悬停说明框不算面板。
  • 我方两堆、敌方两堆生物名未核对,敌方英雄名未放大核对。
  • 这局还没有 App 回放会话,所以没有计算 App 采集率。计数不是准确率,只是供回放对照的模型目视真值。

结论与下一步

第三段时间线已就绪,可直接用来度量 App 离线回放的采集率。它同时给出了几个具体的改进点:预览线索需要排除固定景物位置,需要新增绿色治疗预览的线索,场景门需要处理半透明日志和回合横幅。审核页等待人工确认。