跳转到内容

固定算力下的规模扩展

给定相同的训练算力,每个家族应该选多大的模型、读多少 tokens?2K 研究从 T3 起步,四个家族各扫四个执行深度。每次训练预算为 10²⁰ FLOPs。

家族 研究对象
Vanilla Dense 各层独立的全注意力与稠密 FFN
Vanilla MoE 全注意力与按 token 激活的专家容量
Hybrid 线性注意力与稀疏检索注意力交替
Looped 权重在深度上复用

家族指的是一条设计轴,T3 阶段每条轴只用一个实例来研究:Hybrid 以 KDA–DSA 为例,每三层 KDA 接一层 DSA;Looped 以固定递归结构为例,每个 token 都两次通过同一组核心层。用设计轴命名,是为了后续阶段引入同族其他实例时不必再改家族名。

四个家族中有三个共用 Vanilla MoE 的前馈配方:首层保持稠密,其后为 256 个宽 d/4 的路由专家,每 token 选 8 个,另加 1 个共享专家。只有 Vanilla Dense 各层都用稠密 FFN。固定前馈这一侧,是为了让 Vanilla MoE、Hybrid 与 Looped 之间的差异能被读作注意力或权重复用带来的差异,而不是专家容量的差异。

观测站可查看各尺寸配置并切换硬件预算。T3 配置清单提供机器可读设计,注明 token 数的估算口径与待核算项。

T3 扫描第一档的尺寸曲线,T4 完善拟合,T5 检验用小预算数据事前登记的预测。先给 T5 预测打分,再锁定四家的最终预测,在 C200 做独立盲测。后续配置和预算随各阶段逐步公开。

历史 4K Dense 记录提供算力参照。新 2K 拟合只接收本协议下的质量观测。详见协议与参与方式。