NextTransformer IAAI logoIAAIInteractive & Active AI

NextTransformer Blog / Arena v1

Opus 如何找到 AttnRes-Canon:一次架构探索的 Discovery Trace

摘要

我们在 NextTransformer 的 Arena v1 上做了一次 auto research(自动研究)尝试:让 Claude Opus 5.5 自己设计、筛选 Transformer 架构,人负责审批计划和预算。整个过程分三步:前期探索,workflow 设计与三轮搜索,最后是完整训练。搜索时每个候选只训练 2,000 步,约为完整训练步数的 4%;胜出的架构再按固定协议从头训练 49.152B token,按 CORE-22 得分排名。最终找到的 AttnRes-Canon 把 Full AttnRes 和四处 Canon 层结合在一起:完整训练后 CORE 得分 35.99,比搜索的起点 Block AttnRes 高 2.0 分,验证 BPB 低 0.0024,两项在排行榜已发布的结果里都排第一。

01 / 探索

Agent 的前期探索

交给 Opus 的任务很简单:在 Arena v1 的规则下改进 Transformer 的模型结构,让它完整训练之后,在 CORE-22 上超过排行榜上已有的方法。规则只有四条:

01

固定不变

训练数据、46,875 步的训练长度、每个 token 的计算量(FLOPs,允许 ±1%)都锁死,对所有方法一样。

02

可以改

只有模型结构。每个想法是一个“候选”,在同样的条件下训练。

03

怎么评分

完整训练后看 CORE-22:22 项任务的平均得分,越高越好。同时报告验证 BPB,越低越好。

04

搜索时能看什么

只有训练 loss 和 dev 划分上的 BPB(bits per byte,预测每个字节平均要用的 bit 数,越低越好)。

难处在于贵。完整训练一次要 1,400 多 GPU 小时,不可能把每个想法都训练到底。Opus 只能让每个候选先训练一小段(下文叫短程训练),用这一小段的 dev BPB 去猜它最终的表现。这把“尺子”要是不准,后面试得再多也是碰运气。所以动手改模型之前,它先花了约 150 GPU 小时做前期探索,检验短程训练排出的名次准不准。

这要看训练怎么截短。完整训练的学习率先保持不变,后半程才逐渐降下来,这个安排叫学习率调度(schedule)。截短有两种办法(图 1):“压缩”把整条调度原样挤进 512 步;“前缀”不动调度,只取正式训练最前面的一段。

图 1. 两种截短训练的办法。

Opus 先试了压缩:拿 11 个已有完整成绩的方法,各用压缩调度训练 512 步(约为完整训练的 1%),再和它们的最终名次对比(图 2)。

图 2. 短程排名与最终排名。

压缩调度排不准名次。两组名次的 Spearman 相关只有 0.40(1 表示名次完全一致,0 表示毫无关系),远低于事先定下的 0.85 标准。错得还很有规律:四个 loop 类方法(同一组层反复执行)名次全部下降,四个 linear attention 类方法全部上升。学习率提前降下来,帮了收敛快的 loop 结构,却让起步慢的 linear attention 来不及发力。

换成前缀就好得多。用这 11 个方法已发布的完整训练曲线回头去验(图 3):同样在 500 步左右,前缀的 Spearman 是 0.72;取到前 2,000 步时达到 0.92,过了标准。

图 3. 前缀长度与排名可信度。

尺子就这样定下来:不动学习率调度,直接训练正式调度的前 2,000 步。512 步时只淘汰明显训练失败的候选,名次和胜负都等到 2,000 步再定。

02 / Workflow

搜索 Workflow 设计

有了尺子,Opus 把探索的结论写成一套搜索规则(图 4、表 1):最多搜三轮,总算力不超过 600 GPU 小时。

图 4. 搜索的 workflow。
表 1. 探索结论与对应规则。
前期探索的结论workflow 里的规则
压缩调度排不准名次(Spearman 0.40)不压缩调度,只取正式调度的前缀
前 500 步的排名还不够准(Spearman 0.72,标准是 0.85)512 步只设宽松的底线:比 Dense Baseline 差 0.030 以上才提前停掉
前 2,000 步的排名够准(Spearman 0.92)候选的名次和胜负一律看 2,000 步
同样的训练重复一次,结果也会差一点(记为 δ)先测 δ;候选要比最好的 baseline 低 max(2δ, 0.001) 才算胜出

执行时还有两条约定:

  • 胜出线以 Block AttnRes 为准:搜索先训练两个 baseline:Arena 的 Dense Baseline,和当时排行榜上最强的 Block AttnRes(排行榜上叫 AttnRes)。用同一个随机种子把 Dense Baseline 再训练一次,2,000 步时两次结果的差距 δ 约为 0.0004。据此,候选的 dev BPB 要比 Block AttnRes 低 0.001 以上才算胜出。
  • 一次只改一处,逐轮叠加:每个候选相对它的父模型(被改动的那个模型)只改一处,并事先写下可以被实验推翻的假设。下一轮可以拿上一轮的候选当父模型,改动就这样一轮轮叠起来。

03 / 搜索

三轮搜索与完整训练

3.1搜索全局与演进路径

搜索从 Block AttnRes 出发,三轮一共训练了 12 个候选,其中 4 个越过了胜出线(图 5)。

图 5. 搜索路径。

第一轮的五个候选其实都没过线。图中加粗的路径留下了当时最接近过线的两个改动,Full AttnRes 和 Canon-A/C;第二轮把它们扩展、组合,第三轮再合到一起,得到最终的 AttnRes-Canon。

研究轨迹把整个过程放在一条时间轴上回放:每条指令、每次回复,以及每个实验从发起到出结果。

3.2第一轮:单点改动与早期假象

起点 Block AttnRes 把 23 层分成 8 组,让每一层都能回头读取前面各组的输出。第一轮在它上面各试一处改动,共五个:前三个来自近期论文,后两个调整模型的深宽比和参数分配(表 2)。

表 2. 第一轮的五个单点改动(相对 Block AttnRes 的 dev BPB 差值,越低越好)。
改动当时写下的假设512 步2,000 步
Full AttnRes:分组从 8 个细分到 23 个,每一层都能单独读取前面的任意一层 [1]能取回更细的早期信息−0.0010−0.0008
Canon-A/C:在注意力(A)和 MLP(C)的入口各加一个宽度为 4 的小卷积 [2]用很小的代价混合相邻 token 的信息−0.0006−0.0006
Gate:给每个注意力 head 的输出加一个可学习的开关(sigmoid gate)[3]按输入内容调节每个 head 的输出,去掉无效的注意力−0.0027+0.0006
Deep-narrow:把 FFN 缩到协议允许的最窄,层数从 23 加到 27同样的计算量,多几层比加宽 FFN 更划算+0.0076+0.0027
每层都加 value embedding几乎不增加计算量,多出约 0.55B 参数+0.0022+0.0007

训练到 2,000 步,没有一个候选越过 −0.0010 的胜出线,最接近的是 Full AttnRes(−0.0008)和 Canon-A/C(−0.0006)。Gate 早期的大幅领先是假象:512 步时它低了 0.0027,全场第一;到 1,000 步左右优势就没了,2,000 步反而落后 0.0006(图 6)。

图 6. 第一轮候选相对 Block AttnRes 的 dev BPB 差值(越低越好)。

3.3第二轮:组合验证与边际贡献

第一轮刚出 512 步的结果,Opus 就照当时的名次定了第二轮要试的组合,又加了两个同计算量的 MoE 变体(把 FFN 换成多个小的 expert,每个 token 只用其中几个)[4](表 3)。规则只管 2,000 步定胜负,没管下一轮的方向什么时候定,于是早期领先的 Gate 占了一半的组合名额。

表 3. 第二轮相对 Block AttnRes 的 dev BPB 差值(越低越好)。
候选512 步2,000 步结果
Canon-A–D:在 A/C 之外,给 q/k/v(B)和 MLP 隐层(D)也加上 Canon−0.0018−0.0021胜出
Full + Canon-A/C−0.0020−0.0018胜出
Full + Gate−0.0025−0.0010胜出(刚过线)
Gate + Canon-A/C−0.0038−0.0001未胜出
MoE:16 个半宽 expert,每个 token 选 4 个+0.0007+0.0016未胜出
MoE:8 个 expert,每个 token 选 2 个+0.0055+0.0063未胜出

这一轮有三个候选过线,但早期名次翻得比第一轮更彻底:前四名在 512 步和 2,000 步的顺序正好相反(图 7)。搅乱早期名次的还是 Gate:512 步时,带 Gate 的模型都比不带 Gate 的同款低 0.0014 到 0.0031;到 2,000 步,这点差距全部回到零附近。

图 7. 第二轮候选相对 Block AttnRes 的 dev BPB 差值(越低越好)。

训练之前,Opus 对 Full + Canon-A/C 和 Gate + Canon-A/C 的预期几乎一样:两处改动作用在模型的不同位置,收益应该能叠加。结果前者稳稳过线,后者几乎没动。原因要把每个改动单独拆出来看:同一个改动加到不同的父模型上,各能把 dev BPB 再降多少(图 8、表 4)。

图 8. 各项改动加在不同模型上的边际效果。
表 4. 2,000 步时各项改动的边际效果(dev BPB 变化)。
加入的改动加在 Block AttnRes 上加在 Full AttnRes 上加在 Canon-A/C 上加在 Gate 上
Full AttnRes−0.0008—−0.0012−0.0016
Canon-A/C−0.0006−0.0010—−0.0007
Gate+0.0006−0.0002+0.0005—
  • Full AttnRes 和 Canon 的收益是稳定的:不管加在哪个父模型上,2,000 步时都让 dev BPB 更低。
  • Gate 没有净收益:三组结果有正有负,幅度和重复训练的随机差异(约 0.0004)差不多;Full + Gate 能过线,靠的是 Full AttnRes。

“作用位置不同就能叠加”有个前提:每个改动自己得有效。Gate 自己没有收益,和别的改动组合也叠不出东西,第三轮不再考虑它。

3.4第三轮:共同父模型对照与最终组合

有了前两轮的教训,Opus 在第三轮等到第二轮训练到后段才做决定,没有再看 512 步的名次。这时站得住的只剩 Full AttnRes 和 Canon。第二轮正好有两个候选都以 Canon-A/C 为父模型,各往前走了一步:一个换成 Full AttnRes,另一个补上 B、D 两处,成为 Canon-A–D。放在同一个父模型下比,到 1,536 步两者都比 Canon-A/C 低约 0.002(图 9)。剩下的预算只够再训练一个候选,Opus 没等 Canon-A–D 训练完最后几百步,就决定把两者合起来,这就是 AttnRes-Canon。

图 9. 相对 Canon-A/C 父模型的 dev BPB 差值。

AttnRes-Canon 在 2,000 步的 dev BPB 是 0.7965,比 Block AttnRes 低 0.0038,是整场搜索的第一名(表 5)。

表 5. 两个方向的改动在 2,000 步的 dev BPB(Δ:相对 Block AttnRes 的差值)。
深度组织 \ Canon无 CanonCanon-A/CCanon-A–D
Block AttnRes(8 组)0.8003baseline步时 ×1.000.7997Δ −0.0006步时 ×1.100.7982Δ −0.0021步时 ×1.47
Full AttnRes(23 组)0.7995Δ −0.0008步时 ×1.190.7985Δ −0.0018步时 ×1.300.7965Δ −0.0038步时 ×1.66

两个部件管的是两个方向(图 10)。Block AttnRes 的每一层只能读前面各组输出的总和,好比只能翻每一章的摘要;Full AttnRes 取消分组,每一层都能单独去读前面的任意一层。Canon 层是一个宽度为 4 的小卷积:处理当前 token 时,顺带把前三个 token 的信息混进来。一个沿深度方向取信息,一个沿序列方向混合相邻 token,合在一起的收益比两者各自相加还多一点(表 5)。

图 10. Full AttnRes 与 Canon 层的作用方向。

3.5完整训练结果

搜索只看得到训练最开头的一段,那时学习率还没有开始下降。这点优势能不能保持到最后,要靠完整训练来检验。我们把 AttnRes-Canon 移植成正式插件,从头训练 49.152B token。评测看两个指标:验证 BPB,和 CORE-22(22 项任务扣除随机猜测水平后的平均得分,本文按排行榜的写法乘以 100,越高越好)。AttnRes-Canon 的 CORE 和验证 BPB 在 38 个已发布结果里都排第一;两项的第二名都是跨层连接方法 mHC(表 6、图 11)。

表 6. 完整训练后的结果。
方法CORE验证 BPB
Dense Baseline33.100.6672
Block AttnRes34.000.6630
mHC35.330.6617
AttnRes-Canon35.990.6605
图 11. 完整训练后的 CORE 与验证 BPB。

验证 BPB 的领先从头保持到尾,但后半程缩小了一半多。和 Block AttnRes 的差距在 2,000 步是 0.0037,学习率不变的阶段拉大到近 0.006,学习率开始下降后被追回大半,最后停在 0.0024(图 12、表 7)。

图 12. 完整训练中相对 Block AttnRes 的差值。
表 7. 完整训练中三个时间点的验证 BPB 差值。
比较2,000 步学习率不变的阶段(10K–16K 步平均)终点
AttnRes-Canon 相对 Block AttnRes−0.0037−0.0058−0.0024
Dense Baseline + Gate 相对 Dense Baseline−0.0012−0.0004+0.0002

表 7 第二行的例子更明显:另一位贡献者把 Gate 加在 Dense Baseline 上做了完整训练,2,000 步时领先 0.0012,足够越过这次搜索 0.001 的胜出线,训练结束时反而落后 0.0002。学习率不变时攒下的优势能留下多少,只有训练到底才知道。

04 / 总结

总结与展望

4.1Arena v1 实验复盘

这次搜索成败的关键,是能不能识破早期假象:短程训练要足够长,才能筛掉只在开头领先的改动;把改动组合起来之前,要先在同一个父模型上确认每个改动自己有效。

三个阶段合计 2,135 GPU 小时,三分之二花在最终的完整训练上(表 8)。

表 8. 三阶段算力分配(GPU 小时)。
阶段内容用量占比
前期探索核对研究环境,检验短程训练能不能用来排名1527%
Workflow 的设计与搜索两个 baseline、噪声测量和三轮共 12 个候选55026%
最终训练按协议完整训练 AttnRes-Canon1,43367%
合计2,135100%

Opus 做对的四件事:

  1. 先校准尺子,再开始搜索:发现压缩调度会成系统地排错名次之后,改用正式调度的前 2,000 步。
  2. 一次只改一处:每个候选相对父模型只改一处,并事先写下可被推翻的假设;第二轮因此能把每个改动的贡献单独拆出来。
  3. 等信号够长再做组合:第三轮不再看 512 步的名次,改在同一个父模型 Canon-A/C 上比到 1,536 步才合并。
  4. 把文件当作记忆:四天里对话上下文被压缩了 7 次,每次都靠写在文件里的候选笔记和选择记录接着做下去。

暴露的四处不足:

  1. 有计划,没设提醒:它打算在 1,536 步决定第三轮,却只在 512 步和 2,000 步设了提醒,中间停了下来,直到操作者催促才继续。
  2. 事先的判断不准:它最看好的同计算量 MoE 试了两版,都排在最后。
  3. 一开始弄混了两种随机差异:把“同一个随机种子重复训练的差异”当成了“换随机种子的差异”,也没有做换种子的实验。
  4. 只看效果,不看速度:筛选规则没有限制每一步的耗时,选中的 AttnRes-Canon 每一步要花 Block AttnRes 的 1.66 倍时间(表 5)。

4.2Arena v2 预告

在 v1 里,阶段审批、预算把关、什么时候停手和插件移植都还要人来做。Arena v2 计划用四项改动,把整个流程交给 agent 和 Gym:

  • 封闭的容器:研究全程在隔离的容器里通过 Gym 的接口进行,agent 看不到正式的验证集和 CORE-22。
  • 固定的算力额度:每个会话分到 1.96×10²⁰ FLOPs(大约相当于在 v1 的搜索里训练 20 次 2,000 步的 baseline),训练、评估和失败重试都从里面扣。
  • 实验由模型自己设计:从哪个模型出发、设哪些对照、试几个候选、每个训练多少步、什么时候淘汰,都由模型决定,不再预设步数和轮数。
  • 提交一个文件即可:提交单个模型文件后,Gym 自动启动正式的完整训练,不再需要逐阶段审批和手工移植。

按计划,Opus、GLM 和 DeepSeek 会在同样的 1.96×10²⁰ FLOPs 额度下各自独立做一轮研究,找到的架构再用同一套完整训练协议比较。

这次实验走通了一个会话之内的架构探索。下一步要检验跨会话的自我改进(RSI):把“到点自动做决定”“在同一个父模型上核对每个改动”这些经验写进下一版 workflow,在同样的算力下和冻结的旧版 workflow 直接比较,看 agent 能不能把踩过的坑变成更稳的搜索能力。

参考文献

  1. Attention Residuals. Kimi Team. arXiv preprint, 2026. arXiv:2603.15031
  2. Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers. Zeyuan Allen-Zhu. arXiv preprint, 2025. arXiv:2512.17351
  3. Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free. Zihan Qiu et al. arXiv preprint, 2025. arXiv:2505.06708
  4. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. Noam Shazeer et al. ICLR, 2017. arXiv:1701.06538