2K 规模扩展协议
协议标识为 nextt-scale-2k-v1。T3 每次正式训练分配 1.0 × 10²⁰ 理论训练 FLOPs。执行深度取 16、20、28、32,宽度为深度的 64 倍,头维 128。四族各四个尺寸,共 16 个计划点。建议以 Dense T3-L20 核对数据、评测和成本,再开展扫描。
| 项目 | T3 配置 |
|---|---|
| 数据 | 锁定 ClimbMix 和 32,768 词表 tokenizer,BOS best-fit 打包,共用同一 token 流前缀;dev 06541,val 06542 |
| 长度与 batch | 训练与评测均为 2,048 tokens,每次更新消费 1,048,576 tokens |
| 随机性与残差 | 固定 seed 42,标准单流残差,关闭 value embedding 及其门控 |
| 优化 | 矩阵用 Muon,嵌入、输出头与标量用 AdamW,学习率按宽度缩放;预热 40 步,最后 65% 线性衰减至峰值的 5% |
| 评测 | 每 1,000 步验证,每 20,000 步及终点测完整 CORE-22;终点另用 20,971,520 tokens 计算独立 BPB |
Dense 使用全因果 MHA 和宽 4d 的 ReLU² FFN。MoE 第一层保持稠密,后续各层 256 个路由专家选 8,另有 1 个共享专家,专家宽度 d/4。在 dev 试跑中冻结 router 与优化器细节。Hybrid 在同一套专家配方之上按三层 KDA 接一层 DSA 循环。DSA 用逐 token 因果 top-256、4 × 128 维索引头和 64 维旋转编码;前 512 步为稠密 burn-in,单独核算索引器、teacher、选中边和反传。原有 KDA + MLA 混合模型的第四层与新配置不同。
Looped(以固定递归为例)同样建立在这套专家配方之上,使用 p 层前段、c 层核心执行两遍、p 层后段,p = floor(L/8 + 0.5),c = L/2 − p。核心层的专家在两遍之间共享,与核心其余权重一样属于深度上的复用。容量按独立权重统计,算力计入两次前向访问与完整反传。
tokens 按完整更新步取整。Dense 的训练 FLOPs/token 主项为 72Ld² + 12SLd + 6dV,S 表示窗口,V 表示词表。三个专家家族用激活专家与 router 的开销替换稠密 FFN 项,Looped 按每次执行各计一遍,因此同一深度下 Looped 与 MoE 的计划 tokens 相同。正式运行须核对累计 FLOPs,目标偏差不超过 1%。Hybrid(以 KDA–DSA 为例)的精确 tokens 由 burn-in 与稀疏两阶段的成本证明确定。公开配置清单列出研究设计;归档 Dense 启动器用于复现旧 4K 运行。报告正式 2K 结果前,需要对应实现及成本证明。
观测站按各家族假定的单卡有效吞吐换算卡时,并计入 15% 运行开销。8 张同型号 GPU 连续使用 24 小时等于 192 卡时。小试与可选补点单列。
用模型容量、训练 tokens 拟合 val BPB,指数跨家族共享,系数分家族估计,并在选定点报告 CORE-22。若某侧端点仍在下降,可在该侧补一个尺寸。预测条件于 seed 42。先冻结四份 T5 预测,给它们打分后再纳入最终拟合。在任何 C200 正式训练开始前锁定四份最终预测。