Hybrid GDN + QSA
H05 在种子 42 下完成 46,875 次更新和 49.152B 输入 token。最终定期验证 BPB 为 0.66650463,独立最终验证 BPB 为 0.66375966,CORE ×100 为 33.002036。累计训练计费为 4.691636932 GFLOPs/token,相对 SSSL 成本锚点为 +0.411750%。累计审计通过,包含 189 次验证和 6 次完整 CORE-22 评估。
结果记录 · 累计审计 · 可复核输入与执行证据
已有注册方法 qsa_hybrid 包含 24 个独立层,将三个 GDN 块和一个 QSA 块重复六次。模型宽度 1536、12 个头、FFN 宽度 5760,共 1,405,174,202 个参数。QSA 选择预算为 256 token,压缩因子为 4,仅 QSA 层带有索引器辅助损失。前 512 次更新为稠密预热,随后 46,363 次为联合稀疏训练;累计成本覆盖两个阶段。
训练冻结在 4926c5de832968957cd84411b1fa24ca0ada81c4,使用 FLA chunk-64 GDN、QSA kernel 后端及关闭 FlashAttention 的确定性 SDPA。原始配置和仅验证既定配置的成本证明均已归档,模型及方法源码指纹匹配。本次发布补充已有方法的结果,不引入新实现或架构。
训练从随机初始化开始。保留的三个分段分别从更新 0、1,000、7,500 开始,均使用 8 个 rank、微批量 8 和梯度累积 8。各段的正式准入、模型、数据、分词器、源码、优化器配方与成本指纹一致。
此前暂停后,在继续训练的环境恢复了完整的第 1,000 步状态。一次启动尝试在训练推进前停止;后续训练到首次计划内 CORE 时,原始变长 reference 评估路径被资源保护机制中断。完成有界评估检查后,从完整的第 7,500 步检查点恢复。为应用最终的形状分组同步修正,一次短暂续训又从同一检查点重启。
正式日志只保留一条更新和计划内评估序列。公开重放检查将两份重启前历史中重叠记录点的总损失、语言模型损失、辅助损失、梯度范数、token 和计算量与最终序列比较,逐项完全一致。检查仅覆盖文件中列出的记录点,不表示每步或完整张量状态均已逐项比较。失败尝试和重放产生的额外执行开销不在保留序列内。
CORE 执行
Section titled “CORE 执行”冻结训练器在变长 CORE 输入上将 QSA 切换到 reference 后端。外部包装器在原有 rank 进程中使用原始输入缓存和原始形状 CUDA graph,并检查任务元数据、数据与评估源码哈希、rank 分配和续写区间。每组形状的首次重放均与原生 forward 的损失及预测做完全相等检查,保留原始评分规则。
捕获期间,仅将 SparseMixer.forward 中两个诊断用边数统计从 Python 整数转换延后为张量求和;捕获后立即还原原函数,训练 forward 未改变。形状分组采用有界同步来控制 rank 间进度差。
第 7,500 步完整 CORE 执行检查通过数值断言,但随后的资源交接超过限制。继续训练前,以每个 rank 最后 64 组形状的定向检查验证同步修正。这些检查不计入六次计划内 CORE。补齐形状后批处理和独立进程评估曾改变部分答案,已被否决,其结果未纳入正式记录;修正记录也披露了被否决调试程序曾错误输出相等标记。
冻结源码指纹不覆盖外部包装器,因此证据单独包含其原始源码与 SHA-256,以及节奏控制、rank CPU 亲和性、进度记录和并行检查点哈希代码。
检查点与评审边界
Section titled “检查点与评审边界”提交准备期间重新计算了最终模型及全部八个 rank 文件的哈希,与完整检查点清单及固定归档版本的 SHA-256 收据匹配。公开清单包含大小与哈希;权重保留在贡献者归档中,公开下载链接尚待补充。
这是固定 2K 上下文、单一种子的结果,未复现来源模型的 gated attention、n-gram、MoE、多 token 预测和长上下文继续预训练。报告的计时包含节奏控制,失败尝试另产生执行开销;部署速度与长上下文质量需另行评估。榜单使用最终定期验证 BPB;独立最终 BPB 每个划分使用 20,971,520 token,单独报告。