跳转到内容

协议常见问题

为什么对齐训练算力,而不是参数量?

Section titled “为什么对齐训练算力,而不是参数量?”

许多下一代架构用参数换计算:循环复用权重,稀疏注意力跳过部分计算,线性注意力改变成本随长度增长的方式。对齐参数量会掩盖这些权衡。 对齐每 token 的理论训练 FLOPs,问的正是实践者面对的问题:有这么多算力,模型应该把它花在哪里?

为什么用理论 FLOPs,而不是实测时间?

Section titled “为什么用理论 FLOPs,而不是实测时间?”

墙钟时间取决于硬件、kernel 和工程投入,这些在不同方法之间差别很大,而且变化很快。算子账本在任何机器上都可复现,统计的是算法所需的计算,并把 kernel 填充和冗余排除在预算之外。

每个方法跑一次 49B token 的训练代价很高。一个固定的种子让每个方法都使用相同的数据顺序和初始化流程;结果作为观察报告,并说明单种子的局限。 当差距需要时,再计划估计种子噪声。

为什么 SSSL 是锚点,而 Dense 是基线?

Section titled “为什么 SSSL 是锚点,而 Dense 是基线?”

SSSL 是第一个经过审计的配置,之前的所有预算都相对它定义,所以它保持为冻结的算力锚点。每一层都使用完整因果注意力是自然的质量参照,因此 dense_full 被校准到同一预算,并作为 Δ 值的唯一基线。

可以用验证分片或 CORE 来选择设计吗?

Section titled “可以用验证分片或 CORE 来选择设计吗?”

不可以。它们保留给正式运行。请使用训练损失或 dev 划分。

不需要。任何 GPU 型号都可以按协议训练;每 rank 的 microbatch 会自适应,全局批量保持不变。正式运行需要的是已准入的配置和成本证明所用的锁定 PyTorch 构建,而不是某台特定的机器。

我的方法需要修改共享代码,怎么办?

Section titled “我的方法需要修改共享代码,怎么办?”

先开一个 issue。能让所有已发布方法保持逐位一致的修改,在维护者完成全量审计后可以合并;会改变已发布方法的修改则成为方法的新版本。见修改共享代码。