结果与状态
已发布的运行包含什么
Section titled “已发布的运行包含什么”一个运行在完整且匹配时进入排行榜:46,875 次更新和 49.152B 输入 token,全部 189 次验证事件,全部 6 次完整 CORE-22 事件,以及与锚点相差 2% 以内的累计算力审计。每个分段都必须以正式模式、使用已准入的配置训练。
记录(results/runs/<method>.json)公布:
- 每个预定步数的周期性验证 BPB,以及单独报告的独立最终 BPB;
- 6 次 CORE 事件,含全部 22 个任务的分数;
- 输入 token 数、平均和累计理论训练算力,以及与锚点的偏差;
- 协议、模型、分词器、数据和源码的指纹;
- 当运行由冻结的源码版本训练时,关于来源的说明。
其审计(evidence/audits/<method>.json)记录各项检查和数据布局(rank 数、microbatch 和累积步数)。记录描述的是协议而不是机器:
其中不含主机名、路径或设备名。缺失的测量值记为 null,永远不记为 0。
| 状态 | 含义 |
|---|---|
planned |
已登记,留待后续工作 |
implementation_pending |
正在实现 |
calibration_pending |
已实现;网格尚未满足预算 |
preflight_passed |
已在 1% 以内准入;可以进行正式运行 |
running |
正式运行进行中 |
matched |
完整,所有事件齐全,累计审计已通过 |
budget_mismatch |
累计算力超出 2% |
protocol_mismatch |
某个受控输入或事件与协议不符 |
incomplete_eval |
训练已完成,但缺少评测事件 |
failed |
尝试未成功结束;保留在记录中 |
只有完整且被接受的运行才是 matched。历史 SSSL 结果、失败的运行和早期的核算公式都原样保留,不改写其分数或指纹。
如何解读比较
Section titled “如何解读比较”所有运行都是单种子,并且在不同的机器和 rank 数上训练;排序只是观察结果,不是统计结论。算力数值只有在同一套核算下才可比较:排行榜会分别标注历史“仅矩阵”FLOPs 估计和冻结的重放核算。