跳转到内容

结果与状态

一个运行在完整且匹配时进入排行榜:46,875 次更新和 49.152B 输入 token,全部 189 次验证事件,全部 6 次完整 CORE-22 事件,以及与锚点相差 2% 以内的累计算力审计。每个分段都必须以正式模式、使用已准入的配置训练。

记录(results/runs/<method>.json)公布:

  • 每个预定步数的周期性验证 BPB,以及单独报告的独立最终 BPB;
  • 6 次 CORE 事件,含全部 22 个任务的分数;
  • 输入 token 数、平均和累计理论训练算力,以及与锚点的偏差;
  • 协议、模型、分词器、数据和源码的指纹;
  • 当运行由冻结的源码版本训练时,关于来源的说明。

其审计(evidence/audits/<method>.json)记录各项检查和数据布局(rank 数、microbatch 和累积步数)。记录描述的是协议而不是机器: 其中不含主机名、路径或设备名。缺失的测量值记为 null,永远不记为 0。

状态 含义
planned 已登记,留待后续工作
implementation_pending 正在实现
calibration_pending 已实现;网格尚未满足预算
preflight_passed 已在 1% 以内准入;可以进行正式运行
running 正式运行进行中
matched 完整,所有事件齐全,累计审计已通过
budget_mismatch 累计算力超出 2%
protocol_mismatch 某个受控输入或事件与协议不符
incomplete_eval 训练已完成,但缺少评测事件
failed 尝试未成功结束;保留在记录中

只有完整且被接受的运行才是 matched。历史 SSSL 结果、失败的运行和早期的核算公式都原样保留,不改写其分数或指纹。

所有运行都是单种子,并且在不同的机器和 rank 数上训练;排序只是观察结果,不是统计结论。算力数值只有在同一套核算下才可比较:排行榜会分别标注历史“仅矩阵”FLOPs 估计和冻结的重放核算。