摘要

实验 0230 发现，模仿规则 AI T 的动作排序模型连 512 个训练决策都“背不下来”：2000 步只到全体 Top-1 约 0.85，损失来回震荡。本实验在同样 512 个决策上比较四种设置，区分是优化设置的问题，还是模型结构或容量的问题。

结果：原模型只把批大小改成全批（512），在第 1400 步就达到 0.95，最好到 0.986；而加宽模型、改变结构都没达到。按事前规则，0230 的失败主要来自优化设置（批 64 + 学习率 1e-3 的梯度噪声），不是特征或标签本身不一致。

要回答的问题

512 个决策都记不住，是优化（学习率、批大小）造成的，还是结构/容量（状态与动作只在一层拼接、宽度 128）造成的？

方法（冻结）

同一批 512 个训练决策（0230 阶段 1 用固定种子抽出），每个设置最多 4000 步、无权重衰减、种子 0，每 200 步记录全体 Top-1、移动 Top-1 和损失：

  • A： 0229 原模型，Adam 3e-4，批 64（只降低学习率）；
  • B： 0229 原模型，Adam 1e-3，批 512（全批，去掉小批量噪声）；
  • C： 加宽模型（各层 512），Adam 3e-4，批 64；
  • D： 结构改动——把状态的 128 维嵌入先拼到每个动作行输入里再进两层 512 的网络，Adam 3e-4，批 64。

事前判读：某设置在 4000 步内全体 Top-1 ≥ 0.95，说明失败主要来自对应因素（A/B → 优化；C/D → 容量/结构）；全部 < 0.95 则怀疑同一局面描述对应不同选择，需要检查教师是否依赖未编码的信息。只做诊断，不训练正式模型、不对战。GPU，约 15 分钟。

结果

设置 4000 步时：全体 / 移动 Top-1（损失） 最好记录（步） 首次 ≥ 0.95
A 原模型，3e-4，批 64 0.947 / 0.827（0.138） 0.947（4000，仍在上升） 未达到
B 原模型，1e-3，全批 512 0.967 / 0.867（0.096） 0.986 / 0.960（2000） 1400 步
C 加宽 512，3e-4，批 64 0.879 / 0.600（0.268） 0.945（3400） 未达到
D 状态先拼入动作行，3e-4，批 64 0.934 / 0.853（0.134） 0.949 / 0.907（3000） 未达到

按事前规则：B 达到 0.95 → 小样本记忆失败主要来自优化设置；加宽（C）没有帮助；D 对移动略有帮助，但未达门槛。A 在 4000 步时仍在上升，说明降低学习率同样朝正确方向走，只是更慢。

失败与负结果

诊断按计划完成。负面信息是：单纯加宽模型并不能解决问题。

局限

  • 只在 512 个训练决策上检验“能不能背下来”，不说明在开发集或测试集上的泛化能力，也不说明棋力。
  • 每个设置只用一个随机种子。

结论与下一步

模型和特征原则上足以记住这些决策，瓶颈在小批量训练的噪声。下一步另立正式重训实验，用更稳的优化（更低学习率、更大批）并保证足够的更新次数，再在新来源上测试（见实验 0232）；0229 的结论不变。