NextTransformer Blog / Arena v1
Opus 如何找到 AttnRes-Canon:一次架构探索的 Discovery Trace
我们在 NextTransformer 的 Arena v1 上做了一次 auto research(自动研究)尝试:让 Claude Opus 5.5 自己设计、筛选 Transformer 架构,人负责审批计划和预算。整个过程分三步:前期探索,workflow 设计与三轮搜索,最后是完整训练。搜索时每个候选只训练 2,000 步,约为完整训练步数的 4%;胜出的架构再按固定协议从头训练 49.152B token,按 CORE-22 得分排名。最终找到的 AttnRes-Canon 把 Full AttnRes 和四处 Canon 层结合在一起:完整训练后 CORE 得分 35.99,比搜索的起点 Block AttnRes 高 2.0 分,验证 BPB 低 0.0024,两项在排行榜已发布的结果里都排第一。
01 / 探索
Agent 的前期探索
交给 Opus 的任务很简单:在 Arena v1 的规则下改进 Transformer 的模型结构,让它完整训练之后,在 CORE-22 上超过排行榜上已有的方法。规则只有四条:
固定不变
训练数据、46,875 步的训练长度、每个 token 的计算量(FLOPs,允许 ±1%)都锁死,对所有方法一样。
可以改
只有模型结构。每个想法是一个“候选”,在同样的条件下训练。
怎么评分
完整训练后看 CORE-22:22 项任务的平均得分,越高越好。同时报告验证 BPB,越低越好。
搜索时能看什么
只有训练 loss 和 dev 划分上的 BPB(bits per byte,预测每个字节平均要用的 bit 数,越低越好)。
难处在于贵。完整训练一次要 1,400 多 GPU 小时,不可能把每个想法都训练到底。Opus 只能让每个候选先训练一小段(下文叫短程训练),用这一小段的 dev BPB 去猜它最终的表现。这把“尺子”要是不准,后面试得再多也是碰运气。所以动手改模型之前,它先花了约 150 GPU 小时做前期探索,检验短程训练排出的名次准不准。
这要看训练怎么截短。完整训练的学习率先保持不变,后半程才逐渐降下来,这个安排叫学习率调度(schedule)。截短有两种办法(图 1):“压缩”把整条调度原样挤进 512 步;“前缀”不动调度,只取正式训练最前面的一段。
Opus 先试了压缩:拿 11 个已有完整成绩的方法,各用压缩调度训练 512 步(约为完整训练的 1%),再和它们的最终名次对比(图 2)。
压缩调度排不准名次。两组名次的 Spearman 相关只有 0.40(1 表示名次完全一致,0 表示毫无关系),远低于事先定下的 0.85 标准。错得还很有规律:四个 loop 类方法(同一组层反复执行)名次全部下降,四个 linear attention 类方法全部上升。学习率提前降下来,帮了收敛快的 loop 结构,却让起步慢的 linear attention 来不及发力。
换成前缀就好得多。用这 11 个方法已发布的完整训练曲线回头去验(图 3):同样在 500 步左右,前缀的 Spearman 是 0.72;取到前 2,000 步时达到 0.92,过了标准。
尺子就这样定下来:不动学习率调度,直接训练正式调度的前 2,000 步。512 步时只淘汰明显训练失败的候选,名次和胜负都等到 2,000 步再定。
02 / Workflow
搜索 Workflow 设计
有了尺子,Opus 把探索的结论写成一套搜索规则(图 4、表 1):最多搜三轮,总算力不超过 600 GPU 小时。
| 前期探索的结论 | workflow 里的规则 |
|---|---|
| 压缩调度排不准名次(Spearman 0.40) | 不压缩调度,只取正式调度的前缀 |
| 前 500 步的排名还不够准(Spearman 0.72,标准是 0.85) | 512 步只设宽松的底线:比 Dense Baseline 差 0.030 以上才提前停掉 |
| 前 2,000 步的排名够准(Spearman 0.92) | 候选的名次和胜负一律看 2,000 步 |
| 同样的训练重复一次,结果也会差一点(记为 δ) | 先测 δ;候选要比最好的 baseline 低 max(2δ, 0.001) 才算胜出 |
执行时还有两条约定:
- 胜出线以 Block AttnRes 为准:搜索先训练两个 baseline:Arena 的 Dense Baseline,和当时排行榜上最强的 Block AttnRes(排行榜上叫 AttnRes)。用同一个随机种子把 Dense Baseline 再训练一次,2,000 步时两次结果的差距 δ 约为 0.0004。据此,候选的 dev BPB 要比 Block AttnRes 低 0.001 以上才算胜出。
- 一次只改一处,逐轮叠加:每个候选相对它的父模型(被改动的那个模型)只改一处,并事先写下可以被实验推翻的假设。下一轮可以拿上一轮的候选当父模型,改动就这样一轮轮叠起来。
03 / 搜索
三轮搜索与完整训练
3.1搜索全局与演进路径
搜索从 Block AttnRes 出发,三轮一共训练了 12 个候选,其中 4 个越过了胜出线(图 5)。
第一轮的五个候选其实都没过线。图中加粗的路径留下了当时最接近过线的两个改动,Full AttnRes 和 Canon-A/C;第二轮把它们扩展、组合,第三轮再合到一起,得到最终的 AttnRes-Canon。
研究轨迹把整个过程放在一条时间轴上回放:每条指令、每次回复,以及每个实验从发起到出结果。
3.2第一轮:单点改动与早期假象
起点 Block AttnRes 把 23 层分成 8 组,让每一层都能回头读取前面各组的输出。第一轮在它上面各试一处改动,共五个:前三个来自近期论文,后两个调整模型的深宽比和参数分配(表 2)。
| 改动 | 当时写下的假设 | 512 步 | 2,000 步 |
|---|---|---|---|
| Full AttnRes:分组从 8 个细分到 23 个,每一层都能单独读取前面的任意一层 [1] | 能取回更细的早期信息 | −0.0010 | −0.0008 |
| Canon-A/C:在注意力(A)和 MLP(C)的入口各加一个宽度为 4 的小卷积 [2] | 用很小的代价混合相邻 token 的信息 | −0.0006 | −0.0006 |
| Gate:给每个注意力 head 的输出加一个可学习的开关(sigmoid gate)[3] | 按输入内容调节每个 head 的输出,去掉无效的注意力 | −0.0027 | +0.0006 |
| Deep-narrow:把 FFN 缩到协议允许的最窄,层数从 23 加到 27 | 同样的计算量,多几层比加宽 FFN 更划算 | +0.0076 | +0.0027 |
| 每层都加 value embedding | 几乎不增加计算量,多出约 0.55B 参数 | +0.0022 | +0.0007 |
训练到 2,000 步,没有一个候选越过 −0.0010 的胜出线,最接近的是 Full AttnRes(−0.0008)和 Canon-A/C(−0.0006)。Gate 早期的大幅领先是假象:512 步时它低了 0.0027,全场第一;到 1,000 步左右优势就没了,2,000 步反而落后 0.0006(图 6)。
3.3第二轮:组合验证与边际贡献
第一轮刚出 512 步的结果,Opus 就照当时的名次定了第二轮要试的组合,又加了两个同计算量的 MoE 变体(把 FFN 换成多个小的 expert,每个 token 只用其中几个)[4](表 3)。规则只管 2,000 步定胜负,没管下一轮的方向什么时候定,于是早期领先的 Gate 占了一半的组合名额。
| 候选 | 512 步 | 2,000 步 | 结果 |
|---|---|---|---|
| Canon-A–D:在 A/C 之外,给 q/k/v(B)和 MLP 隐层(D)也加上 Canon | −0.0018 | −0.0021 | 胜出 |
| Full + Canon-A/C | −0.0020 | −0.0018 | 胜出 |
| Full + Gate | −0.0025 | −0.0010 | 胜出(刚过线) |
| Gate + Canon-A/C | −0.0038 | −0.0001 | 未胜出 |
| MoE:16 个半宽 expert,每个 token 选 4 个 | +0.0007 | +0.0016 | 未胜出 |
| MoE:8 个 expert,每个 token 选 2 个 | +0.0055 | +0.0063 | 未胜出 |
这一轮有三个候选过线,但早期名次翻得比第一轮更彻底:前四名在 512 步和 2,000 步的顺序正好相反(图 7)。搅乱早期名次的还是 Gate:512 步时,带 Gate 的模型都比不带 Gate 的同款低 0.0014 到 0.0031;到 2,000 步,这点差距全部回到零附近。
训练之前,Opus 对 Full + Canon-A/C 和 Gate + Canon-A/C 的预期几乎一样:两处改动作用在模型的不同位置,收益应该能叠加。结果前者稳稳过线,后者几乎没动。原因要把每个改动单独拆出来看:同一个改动加到不同的父模型上,各能把 dev BPB 再降多少(图 8、表 4)。
| 加入的改动 | 加在 Block AttnRes 上 | 加在 Full AttnRes 上 | 加在 Canon-A/C 上 | 加在 Gate 上 |
|---|---|---|---|---|
| Full AttnRes | −0.0008 | — | −0.0012 | −0.0016 |
| Canon-A/C | −0.0006 | −0.0010 | — | −0.0007 |
| Gate | +0.0006 | −0.0002 | +0.0005 | — |
- Full AttnRes 和 Canon 的收益是稳定的:不管加在哪个父模型上,2,000 步时都让 dev BPB 更低。
- Gate 没有净收益:三组结果有正有负,幅度和重复训练的随机差异(约 0.0004)差不多;Full + Gate 能过线,靠的是 Full AttnRes。
“作用位置不同就能叠加”有个前提:每个改动自己得有效。Gate 自己没有收益,和别的改动组合也叠不出东西,第三轮不再考虑它。
3.4第三轮:共同父模型对照与最终组合
有了前两轮的教训,Opus 在第三轮等到第二轮训练到后段才做决定,没有再看 512 步的名次。这时站得住的只剩 Full AttnRes 和 Canon。第二轮正好有两个候选都以 Canon-A/C 为父模型,各往前走了一步:一个换成 Full AttnRes,另一个补上 B、D 两处,成为 Canon-A–D。放在同一个父模型下比,到 1,536 步两者都比 Canon-A/C 低约 0.002(图 9)。剩下的预算只够再训练一个候选,Opus 没等 Canon-A–D 训练完最后几百步,就决定把两者合起来,这就是 AttnRes-Canon。
AttnRes-Canon 在 2,000 步的 dev BPB 是 0.7965,比 Block AttnRes 低 0.0038,是整场搜索的第一名(表 5)。
| 深度组织 \ Canon | 无 Canon | Canon-A/C | Canon-A–D |
|---|---|---|---|
| Block AttnRes(8 组) | 0.8003baseline步时 ×1.00 | 0.7997Δ −0.0006步时 ×1.10 | 0.7982Δ −0.0021步时 ×1.47 |
| Full AttnRes(23 组) | 0.7995Δ −0.0008步时 ×1.19 | 0.7985Δ −0.0018步时 ×1.30 | 0.7965Δ −0.0038步时 ×1.66 |
两个部件管的是两个方向(图 10)。Block AttnRes 的每一层只能读前面各组输出的总和,好比只能翻每一章的摘要;Full AttnRes 取消分组,每一层都能单独去读前面的任意一层。Canon 层是一个宽度为 4 的小卷积:处理当前 token 时,顺带把前三个 token 的信息混进来。一个沿深度方向取信息,一个沿序列方向混合相邻 token,合在一起的收益比两者各自相加还多一点(表 5)。
3.5完整训练结果
搜索只看得到训练最开头的一段,那时学习率还没有开始下降。这点优势能不能保持到最后,要靠完整训练来检验。我们把 AttnRes-Canon 移植成正式插件,从头训练 49.152B token。评测看两个指标:验证 BPB,和 CORE-22(22 项任务扣除随机猜测水平后的平均得分,本文按排行榜的写法乘以 100,越高越好)。AttnRes-Canon 的 CORE 和验证 BPB 在 38 个已发布结果里都排第一;两项的第二名都是跨层连接方法 mHC(表 6、图 11)。
| 方法 | CORE | 验证 BPB |
|---|---|---|
| Dense Baseline | 33.10 | 0.6672 |
| Block AttnRes | 34.00 | 0.6630 |
| mHC | 35.33 | 0.6617 |
| AttnRes-Canon | 35.99 | 0.6605 |
验证 BPB 的领先从头保持到尾,但后半程缩小了一半多。和 Block AttnRes 的差距在 2,000 步是 0.0037,学习率不变的阶段拉大到近 0.006,学习率开始下降后被追回大半,最后停在 0.0024(图 12、表 7)。
| 比较 | 2,000 步 | 学习率不变的阶段(10K–16K 步平均) | 终点 |
|---|---|---|---|
| AttnRes-Canon 相对 Block AttnRes | −0.0037 | −0.0058 | −0.0024 |
| Dense Baseline + Gate 相对 Dense Baseline | −0.0012 | −0.0004 | +0.0002 |
表 7 第二行的例子更明显:另一位贡献者把 Gate 加在 Dense Baseline 上做了完整训练,2,000 步时领先 0.0012,足够越过这次搜索 0.001 的胜出线,训练结束时反而落后 0.0002。学习率不变时攒下的优势能留下多少,只有训练到底才知道。
04 / 总结
总结与展望
4.1Arena v1 实验复盘
这次搜索成败的关键,是能不能识破早期假象:短程训练要足够长,才能筛掉只在开头领先的改动;把改动组合起来之前,要先在同一个父模型上确认每个改动自己有效。
三个阶段合计 2,135 GPU 小时,三分之二花在最终的完整训练上(表 8)。
| 阶段 | 内容 | 用量 | 占比 |
|---|---|---|---|
| 前期探索 | 核对研究环境,检验短程训练能不能用来排名 | 152 | 7% |
| Workflow 的设计与搜索 | 两个 baseline、噪声测量和三轮共 12 个候选 | 550 | 26% |
| 最终训练 | 按协议完整训练 AttnRes-Canon | 1,433 | 67% |
| 合计 | 2,135 | 100% |
Opus 做对的四件事:
- 先校准尺子,再开始搜索:发现压缩调度会成系统地排错名次之后,改用正式调度的前 2,000 步。
- 一次只改一处:每个候选相对父模型只改一处,并事先写下可被推翻的假设;第二轮因此能把每个改动的贡献单独拆出来。
- 等信号够长再做组合:第三轮不再看 512 步的名次,改在同一个父模型 Canon-A/C 上比到 1,536 步才合并。
- 把文件当作记忆:四天里对话上下文被压缩了 7 次,每次都靠写在文件里的候选笔记和选择记录接着做下去。
暴露的四处不足:
- 有计划,没设提醒:它打算在 1,536 步决定第三轮,却只在 512 步和 2,000 步设了提醒,中间停了下来,直到操作者催促才继续。
- 事先的判断不准:它最看好的同计算量 MoE 试了两版,都排在最后。
- 一开始弄混了两种随机差异:把“同一个随机种子重复训练的差异”当成了“换随机种子的差异”,也没有做换种子的实验。
- 只看效果,不看速度:筛选规则没有限制每一步的耗时,选中的 AttnRes-Canon 每一步要花 Block AttnRes 的 1.66 倍时间(表 5)。
4.2Arena v2 预告
在 v1 里,阶段审批、预算把关、什么时候停手和插件移植都还要人来做。Arena v2 计划用四项改动,把整个流程交给 agent 和 Gym:
- 封闭的容器:研究全程在隔离的容器里通过 Gym 的接口进行,agent 看不到正式的验证集和 CORE-22。
- 固定的算力额度:每个会话分到 1.96×10²⁰ FLOPs(大约相当于在 v1 的搜索里训练 20 次 2,000 步的 baseline),训练、评估和失败重试都从里面扣。
- 实验由模型自己设计:从哪个模型出发、设哪些对照、试几个候选、每个训练多少步、什么时候淘汰,都由模型决定,不再预设步数和轮数。
- 提交一个文件即可:提交单个模型文件后,Gym 自动启动正式的完整训练,不再需要逐阶段审批和手工移植。
按计划,Opus、GLM 和 DeepSeek 会在同样的 1.96×10²⁰ FLOPs 额度下各自独立做一轮研究,找到的架构再用同一套完整训练协议比较。
这次实验走通了一个会话之内的架构探索。下一步要检验跨会话的自我改进(RSI):把“到点自动做决定”“在同一个父模型上核对每个改动”这些经验写进下一版 workflow,在同样的算力下和冻结的旧版 workflow 直接比较,看 agent 能不能把踩过的坑变成更稳的搜索能力。
这条结果在 Observatory 的排行榜和 Arena 页面上;正式运行记录、披露卡和方法代码:运行记录 · 披露卡 · 方法插件
参考文献
- Attention Residuals. Kimi Team. arXiv preprint, 2026. arXiv:2603.15031
- Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers. Zeyuan Allen-Zhu. arXiv preprint, 2025. arXiv:2512.17351
- Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free. Zihan Qiu et al. arXiv preprint, 2025. arXiv:2505.06708
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. Noam Shazeer et al. ICLR, 2017. arXiv:1701.06538