从一段游戏录像开始

本篇曾承担跨模块总合同角色，现在这部分已由系统合同替代。这里保留历史场景设计和 Perception 内部测量，不重新定义现行模块边界。

B021–B022 识别场景，B023–B025 理解场景内部。B024 是 B023 的 OCR 子模块评估，不是另一套全屏场景分类器。时序跟踪消费这些观测，但不是给分类结果加一个合法转移图就完成了。

配套视觉实验分别研究固定槽位的图标分类 B11、战场生物 B12、六边形网格 B15和高亮范围、障碍与路径 B16。它们回答不同问题，可以按需要阅读。

场景未知时，B021 先对完整截图做文字检测与识别；知道场景后，B023 才按相应布局关联图标，必要时精读小标题。OCR 引擎自动裁出的文字行不需要游戏场景标签，游戏固定槽位则需要。这样避免“先知道场景才能 OCR、先 OCR 才能知道场景”的循环。各原型的自动串联与拒识仍需完整视频评估，B024 的小裁图成绩不能代替这项验收。

共享实现留在 Perception 包；实验目录保存配置、数据入口、固定案例和评估记录。博客只有桌面 Blogs 中这一份正文，项目侧保留可复现代码与技术合同。旧编号与旧测量通过迁移说明和 Git 历史追溯。

现在，已有四个开发运行、328 张原图可以在同一条时间线里检查。数字留空时可以单格重读，魔法书的左下罗马字面和周围数字也已接入。原字段不会消失，新读数在旁边作为另一份证据。

读到了 88/100，还要把两个数完整传出去

这次补的是识别之后的一处接口缺口：程序内部已经能保存“当前值 / 上限”，旧公共出口却不认识这种成对数值，下游收到的仍是未知。现在新增一个显式选择的出口，保留原读数，并把它拆成两个整数。旧出口不变，调用方不会被自动切换。

例如一张原图已有 200/200 的读数，新出口保留 200 和 200，以及它们共同的原图位置。它们来自同一次读数，不能算作两次独立识别；也不能只凭屏幕左侧，就认定属于我方英雄。读不清时仍留空，不能补成零。

我们用四个既有运行的全部328张候选验证这条路径：面板字段中281个已读数值对完整通过导出与读回，139个位置仍未知。全部已读对都来自其中一段较长录像；两个高精度OCR片段的112个数值对位置，在这套原字段读取里仍然留空。出口修好了，不等于上游也读对了。 当时单格补读还不在出口中，下面继续检查并补上这条路径；独立HUD读法和书页字面仍需分别接入。

逐帧核验页可以展开原图、字段状态和实际导出的JSON。这一轮没有重新跑OCR或新增标注，所有记录仍是离线证据；完整英雄关联与实时决策另行验证。下面继续说明这些本地读数是怎样产生的。

112个留空位置，不等于112次都没读出来

为了弄清这个缺口，我们把两个片段中所有相关位置都裁出来，隐藏模型答案后逐个看原图。34张图上逐一核对112项数值，其中100项是新参考位置、12项复核已有参考；包括英雄角落、生物属性面板和底部头像旁的数值。同一显示会重复出现，实际只有13种数值对。这是一轮开发排错，不是未见视频测试。

结果分成两类：102个位置的局部补读已经与原图一致，只是没有进入公共出口；另10个仍因读法冲突留空。 前一类提醒我们，识别模型和结果传递都要检查，不能看到空白就认定需要更强的模型。

后一类更具体：原图显示 62/102，一块小切图却只读出了 62/10，相邻切图又读到了完整值。按扫描器保存的实际裁剪范围逐张检查后，10张都能看到同一个问题：小切块的右边界把末位 2 留在了外面。 把这块残图放得再大，也不能还原它没有包含的数字。

图 4：1704.1 秒的实际来源区域，按原像素放大三倍。灰色表示该部分不在对应切块里，不是模型抹掉了文字；下方列出各次原始读法。全部10处对照可逐张查看。原拒识保留，后面的独立实验比较完整小格重读，不按票数选答案。

排错页把这10个拒识放在最前面，展开即可对照原始读法；统一时间线可逐帧切换原图、补读和助手参考。参考仍待你确认，原字段没有被覆盖。本轮补的是审核依据，没有重跑OCR或把这些图标成整帧完成。

补读成功后，让下游真正拿到这个数

9 月 13 日补上了这条接线。比如 1682.6 秒的左上数值，原字段因没有可靠分数而留空，单格读取已经得到 131/350。现在导出的观察里同时保留“原字段未知”和“补读得到 131/350”，不替换前者，也不把两个结果当作两处不同的数字。

全部328张开发图都通过了新出口检查，旧字段逐条不变。另有270次单格读取进入统一结果：137次可读，包括114个数值对和23个其他数值；133次拒识，继续留空。前面核对过的102个数值对已经在其中，10个冲突位置则没有产生新的读数。这是把已有识别结果传出去，不是新一轮OCR准确率提升。

还有一个容易误导人的细节：识别器拿到的是程序选出的“小格子”，没有输出每个字的精确框。因此新结果只记录搜索范围，不给数字伪造紧贴文字的框。英雄身份、数字含义与实时决策也没有因此自动确定。

可以打开单格结果导出页，展开一帧，对照原图、原字段、补读文字和实际JSON；原来的参考时间线继续保留。

别让一块残图否决完整的数字

接着做了一个小对照。程序先检查：文字框是否贴着某块小图的边界，而且另一次读取的同排文字框确实越过了那里？只有满足这两个条件，才把那次读法列为“可能截断”，再看剩下的完整读法是否一致。最后重新裁出整个数值小格，用同一个本地识别器读一次；新读数也必须一致，才留下单独的候选。

对全部328张图、949个自动数值格执行后，只有前面10处请求重读，均得到了 62/102；其余939项不变。没有更换模型，也没有按具体数字写例外。这个结果说明，修正输入范围就能恢复这批数字，不一定要换更大的模型。

但10处全来自同一小段录像、显示同一个值，不能当成10种数字都通过了测试。我们还没有足够的不同录像和真实背景反例来全局采用它，所以旧冲突和默认输出仍然保留。独立对照页可展开原冲突、实际裁图和新读法。下一步先补不同录像的短悬停、属性面板与非文字数据，不再围绕这10个重复值调参。

2026-09-12：把缺失的数值补回同一张原图

前面的自动单格 OCR 对照发现，把数字从整屏里单独拿出来读有帮助，但统一放大四倍反而更差。因此这里采用开发比较中更好的 PP 原尺寸读法；这不是为了省时间，而是为了保住实际测到的精度。

“原尺寸”指不先把裁图统一放大四倍，不代表模型内部没有调整输入大小。所用 PP-OCRv6_medium_rec 是当前 PaddleOCR 系列的文字识别器；它与局部视觉语言模型的对照支持这批数据上的选择，不能证明它是所有游戏画面的最强模型。

程序只补原来缺失、低分或无法完整解析的数值；已有可读字段、真实读数冲突和不可见区域保持原样。新读数必须是完整数字格式，且通过预先固定的分数要求。能读出一个整数，还不等于找对了数字。

图 5：录像 428.8 秒，底部沙漏头像右下方显示 75/75。原字段因低分留空；局部重读得到 75/75。点击放大查看原像素，时间线另列两种读法和助手参考。这张图没有被标成“所有内容都已识别”。

两组参考分别计分：前 17 项早已用于开发比较，后 15 项是在预测产生后逐图核对的，尚待作者确认。这里没有重训，也没有打开预留的验收录像。这些结果证明新读数能到达实际视频页面，不能推出整段视频的准确率。

按字段位置检查后，需要纠正最初对这批拒识的解释：133个拒识裁图中，121个来自“图案中央数字格”，不能等同于上方或右下数字漏读；后两类各121个字段，原读取器都已保留读值。下面这张图的17也早已读对，低分d来自中央图案。这里还没有逐像素确认121个中央全为空；后续扩展在其他书页发现中央1、2、4，必须保留这种可能。

审核页现在能切换“15 张新增参考”和“全部 328 张候选”，逐项查看原读数、补读原文、分数与拒识；绿色框是助手参考，黄色框是自动搜索区域，小数字上不再盖长标签。

生物面板的小数字，也由视频入口自动补读

单项实验读得更好，只有接进视频流程才会帮助下一段录屏。现在可以开启生物标题与四个小属性格的原尺寸VL读取：程序从自动面板生成裁图，不需要人工框，并把新候选与原字段一起保存。

续接四个已有开发运行后，328张帧中有5张产生25个局部裁图，全部完成读取；182张因场景跳过，141张没有找到生物面板。这里没有增加独立测试视频或人工答案，25是可解析候选数量，不是正确数量。打开这5张原图能看到原读数和新候选；全部328张的处理状态也保留。原有模块与书页结果未改写，局部字面仍不授权在线状态提交。

状态提示也能自动找到，再整段重读

同一批328张图现在还接入了状态提示局部读取：先沿用自动生物面板，再找金色标题与正文，分别尝试原尺寸和放大后的裁图。两张提示产生四个文字区域、八次读取；182张场景跳过，144张未定位到支持的提示。旧读数、失败和没有找到的图片都保留，四个新字面候选不算已审标注。

打开视频状态提示能看到“阿丽娜之触”正文里的20%已经读回，原完整切块的低分拒识仍在旁边。这里接通的是提示文字，不是图标身份、单位归属或剩余回合；这些字段仍未知。

之后又用同一已曝光录像的20秒片段，从原视频执行单命令处理，得到11张关键帧并跑完已配置步骤。两张提示完成局部重读；本次运行单独查看，不与旧运行混在一起解释。总入口现在339张，但新增11张是接线回归，不增加独立来源或准确率证据。

魔法书数字也接到实际视频，而不只留在实验页

魔法书实验已经比较裁框、原尺寸与放大读法。这里先接入其中冻结的原尺寸双模型组合：自动找到书页，分别读取每格的上方、左下、右下与中央，再把字面和来源并列显示。新增的更小中央框试验仍单列，不混进本次视频结果。

这一步遍历18分46秒录像的248张既有候选，不输入人工框或答案。首次接线只读了11张书页，另7张被“两页都应有标题”的条件挡住。后来逐张查看发现，这7张都是左页有内容、右页空白的清晰书籍；单页实验因此补上“同一侧标题足够密集且排布整齐时，也尝试读取”的分支。

现在18张书页的1,008个位置都完成双模型读取：原616处复用完全相同的旧记录，新增392处各读两遍。共有535个可读候选、473个拒识；没有书页的94张和场景条件不满足的136张，也保留各自状态。接线检查确认全部248帧的旧模块不变，原11张书页的候选也不变。

打开全部书页时间线可以左右切帧、展开两模型原文与分数；7张单页对照还会把青色参考和黄色候选按位置相邻排列。可以分别筛选两种来源，不把参考答案混进预测。框是位置范围，不是精确字框，数字也没有自动解释成费用、等级或冷却。

随后逐张核对剩余10张双页，新增360个字面、200个负位置参考：冻结输出353项精确、7项拒识，没有错收。连同原7张单页和450.2秒图，18张书页的543个可见字面中535个读对、8个拒识，465个负位置没有误收。这只回答书页这些位置是否读对，不是整段视频或所有UI的准确率；相似书页也不是独立样本。

这10张图没有只标书页：还逐图核对了两侧80项英雄字段、40项角落时钟，冻结的本地视频读数120项都一致。打开同帧HUD对照可切换参考与本地结果；数值仍按屏幕位置保存，不自动认定资源类型或哪侧是我方。新增参考待作者确认，其他UI仍有缺口。下一步转向不同录像和短悬停说明，避免继续积累同一书页的重复成绩。

flowchart TD
 V[Source video] --> S[Stable candidate frames]
 S --> O[Full-screen OCR]
 O --> C["OCR and visual<br/>scene candidates"]
 C --> M["HUD, turn strip, panels, logs,<br/>body and quantity candidates"]
 M --> R["Timeline: outputs<br/>and module status"]

在时间线里应该看到什么

每张新候选保留原图、视频时刻、角落场景标签、OCR 框和已接模块的输出。时间线支持左右键、滑条和文字检索，并分别显示成功、失败、场景条件不满足、等待输入、未接入与延期。原图或 OCR 改变时，旧模块结果停止展示，避免文字框贴到错误图片上。

9 月 10 日的接线包括整屏 OCR、场景、英雄数字与计时、顶部行动条位置/类别/颜色、面板字段、日志字面声明、双行数字预览，以及战场生物身体和数量牌候选。当时 HUD 只使用全图 OCR 读数，没有再次扫描局部裁图，不能沿用专门 HUD 裁图实验的最好成绩；9 月 12 日的数字复读增量见上文。固定布局的 HUD 和行动条只接受原生 2560×1440。

新增的身体与数量牌模块处理了第二段的 112 张战场候选，其余 163 张按场景条件跳过。它们产生 1,234 个身体框、1,176 个数量牌候选，其中 1,055 项通过同一 OCR 模型的两次读数一致检查、121 项数值留空。这里的两次一致不是两个独立算法共同证实，更不是正确数量的保证。

身体使用已有的历史检测与分类模型，类别排名只作建议，尚未通过身份接受校准；没有把历史模型称为最新最佳模型。数量牌则独立寻找血条和下方红蓝区域，不要求身体先检测成功。检测位置靠得近只提供可能的身体—数量关联，不确认它们属于同一支部队。

为检查读数，我们从算法已经提出的区域中选了 10 帧、40 个裁图：32 个清晰数字读数一致，另有 2 个遮挡牌与 6 个非牌。其中两个魔法书装饰边框被读成 1，一个无法可靠转写的遮挡牌仍被输出为确定数字。这是开发阶段的后验抽查：它能发现“读数一致也会错”，不能估计未提出的牌有多少，更不能推出整场 OCR 准确率。逐项图片和分组结果见数量牌文章。

上述 9 月 10 日检查点及测量保留不变。后续还要补多视频的非牌与遮挡参考，并比较扩充数据身体检测器的实际接线表现；处理数量变多不直接等于准确率提高。行动条颜色、绿色移动范围、底部头像高亮和计时变化可以作为回合判断的待验证线索：计时是否在走必须比较多帧，单个高亮不能直接确认行动方。

早期整理的 640 张关键帧中，OCR 规则命中 467 张、173 张未知；当时审核记录为 1 张确认、639 张待确认，另选 45 张代表帧排错。B023 当时缓存五类、186 帧、617 个图标槽位与 530 个已解析身份。这些是原日期的实验快照，不是本轮处理数，也不是当前全库完成度。