游戏视觉理解 · 阅读目录
从游戏画面
到可读的观察
给程序一段录像，让它把看见的内容说清楚。
在《英雄无敌：上古纪元》的回合制战斗里，屏幕上同时有部队、数量、技能说明和日志。我们希望把这些画面变成带位置和时间的记录：既方便人检查，也给后续程序提供输入。
这组文章讲的是怎样一步步做到这一点，不要求你玩过游戏。读到具体方法时再了解模型和指标；旧实验的详细对照可以稍后查。
2026-10-14 · 当前状态已同步；历史实验日期与分母分别保留
先把画面读全，再谈推断
先看 P00 总报告 →。它和各组报告读取同一份工程进度摘要，明确区分原型、已集成与未验收。下文的方法与试验按 P 任务排序，每篇都能返回所属组。想查试过什么、为什么没采用，从 P900 试验入口进入。
现在的 Perception 是一组已经能运行、但覆盖不齐的识别模块。它能读出很多内容，却还不能保证每张关键帧里的每个元素都被找到并正确关联。当前没有可信的“整张图识别完成率”。
- 挑图：能减少重复，也会漏短提示，所以保留更密的离线补采。
- 找位置：身体、数量牌、行动条和面板各有方法，但遮挡、过渡和稀有情况仍会漏。
- 读内容：能读很多文字和数字；小字、罗马数字、合并行仍不稳定。
- 配对象：还要证明数字属于哪个法术、哪一支部队。读出20，不等于已经知道它是什么。
先看一个实际缺口：同一张战场图中，14条身体—数量链相符，底栏22个已标图形却只输出15个，身份与关系也没有读全。P80解释这张图，P00说明整段录像的处理范围。这是开发参考，不是整场准确率。
接下来先固定实际运行配置，补齐同帧参考与输出，再验证短时变化和一种完整信息查询。每项分开记录漏掉、读错、配错。详细顺序见P00后续计划；隐藏技能推断和分析视频仍放在后面。
读正文时先理解问题与方法，需要核对时再展开历史实验。标注数、模型输出数和用户确认数分别看，不混成一个“已完成”。
先读当前交付报告
最后核对：2026-10-14。p00 是总报告，其余组页逐项说明做到哪、缺什么；p900 单独保留未采用研究。下面的方法章节已按 P 任务归组，历史测量仍保留原来的范围与日期。
- p00 · 总设计与总进度先知道哪些画面能读、哪里仍缺，再决定下一项工作。
- p20 · 输入与选帧从录像留下清楚、少重复的画面，特别注意短暂悬浮。
- p40 · 场景与布局先找到页面和面板，再决定哪些区域可读。
- p60 · 文字与数值读出实际可见文字和数字，不用游戏规则替它补答案。
- p80 · 图标与视觉对象找出身体、卡片、小牌与图标；身份和位置分开评估。
- p100 · 对象与空间关系回答哪个数字属于哪个对象，不把同类生物当同一支部队。
- p120 · 组合与观察输出让各组输出有来源、未知项和时间边界，成为可检查的整帧记录。
- p140 · 数据、验收与交付工具保存可审核的数据，保证重跑、安装和清理都有依据。
- p900 · 未采用实验保留试过的方法与失败原因，不混入生产能力。
导读 · p00
先知道要看什么
一段录像最终应该留下哪些观察？先看目标，再沿处理流程往下读。
- 第 1 章从一段游戏录像开始p02
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
第一部 · p20
从视频挑出清楚的帧
减少重复工作，也保留短暂出现的文字与面板。
- 第 2 章挑出值得看的帧p22
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
第二部 · p40
判断页面，找到可读区域
先确定这是什么画面、面板在哪里；文字怎么读，在下一部展开。
- 第 3 章用文字判断当前页面p41
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 4 章没有明显文字时，看画面p41
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 5 章不先给框，自动找到面板p43
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
第三部 · p60
读出文字和数字
共用文字读取方法，再分别检查时钟、属性、日志、预览和状态回合。
- 第 6 章把文字和小数字读出来p61
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 7 章行动条、英雄数字与计时p63
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 8 章给面板里的数字一个含义p64
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 9 章从日志看已经发生的事p66
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 10 章区分伤害预览与实际结果p67
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 11 章从状态图标读到法术效果p68
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
第四部 · p80
找到并认出图像中的对象
文字之外，图标、部队身体和数量牌也需要自己的位置与身份判断。
- 第 12 章从裁图认出图标p81
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 13 章在战场上找到每支部队p82
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 14 章把脚下的数字连回身体p83
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 15 章读懂底部操作栏的外观与数字p87
目前还差：技能身份和可点击性未知；中央数字已有读取结果，当前剩余冷却语义及跨来源完整覆盖仍未验收。
第五部 · p100
把内容配回正确对象
名称属于哪张卡？面板对应谁？高亮位于哪些格子？这些关系单独检查。
- 第 16 章把名称连到旁边的图标p101
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 17 章这是哪一支部队的资料？p104
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 18 章给战场位置标上格子坐标p105
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 19 章读出高亮范围与障碍线索p106
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
第六部 · p120
组合前后画面的观察
多帧可以提供变化线索，但不能把后来才看见的信息提前使用。
- 第 20 章从计时变化得到线索p122
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 21 章读出结算画面，核对整场减员p122
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 22 章让录像自己找图，再逐场检查结果p123
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 23 章实时模式：读取排队与画面时间顺序p123
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 第 24 章回放时也不能偷看未来p124
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
研究附录 · p900
未采用的方法与对照
正文无需依赖这些研究。这里保留图标检索、检测器比较，以及身体—数量牌融合的有效与失败尝试。
- 附录 A枚举方框，寻找相似图标p901
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 附录 B用图鉴训练特征与裁图质量p902
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 附录 C让检测器自己学习找图标p903
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 附录 D比较几种找框的方法p904
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。
- 附录 E试过哪些办法，为什么还会漏p912
目前还差：上述未知、漏读及未实现项仍计入缺口；局部开发结果不代表全场景完整识别、App接线或独立十局验收。