数据与评测
| 控制项 | 要求的取值与行为 |
|---|---|
| 上游源码 | nanochat 92d63d4e8bb4df75c3b71618f31ddde2378b2bcd；每次运行都记录确切的项目版本和源码指纹 |
| 数据 | ClimbMix 版本 915333b4f8b8684f39aeaafea600fea6f43fb703；文件和内容完全相同 |
| 划分 | 训练排除 shard_06542.parquet；验证只读取该分片 |
| 数据顺序 | 相同的排序 Parquet 文件、row group、文档流、全局行号和八条逻辑数据流 |
| 分词器 | 相同的 32,768-token 词表和字节表，由联合 SHA-256 校验 |
| 上下文 | 2,048 tokens；相同的移位目标、标签掩码、填充和 BOS 处理 |
| 打包 | 原生 BOS best-fit 打包；1,000 篇文档的缓冲区；每次编码 128 篇文档 |
| 边界 | 注意力可以跨越打包行内的 BOS；线性注意力的状态在行边界重置，而不是在每个 BOS 处重置 |
| 输入预算 | 49,152,000,000 tokens，包含 warmup、burn-in、门控训练和所有阶段 |
| 全局批量 | 每次优化器更新 1,048,576 tokens = 512 × 2,048-token 行 |
| 更新次数 | 46,875；梯度累积的微步不是优化器步 |
| 随机性 | 单一种子 42；方法特有的路由随机性需写明、相互独立且可恢复 |
| 目标 | 相同的下一个 token 预测目标；辅助损失单独命名并单独计入成本 |
| 精度 | BF16 训练，采用通用的主参数和归约策略；方法必需的累加例外需写明；不允许按方法开启 FP8 |
数据清单、分词器和字节表哈希、验证分片内容、评测资源、源码和配置都会在启动时校验。仅凭目录名不能证明数据相同。
在同一次更新中重复内部循环或执行 teacher 前向，不会消耗额外的输入 token，但所有计算都计入算力预算。为另一次优化器更新再次读取输入则会再次消耗 token。pilot 运行永远不能为标注为“从头训练”的运行提供预训练权重。
| 事件 | 时间表 |
|---|---|
| 周期性验证 | 第 0 步、每 250 次更新以及最后一次更新 46,875：189 次，每次 41,943,040 tokens |
| CORE | 第 8,000 / 16,000 / 24,000 / 32,000 / 40,000 / 46,875 次更新：6 次，全部 22 个任务、全部题目；第 0 步不评 CORE |
| 检查点 | 每 5,000 次更新以及最后一次更新；结果使用第 46,875 步的检查点，绝不事后挑选最佳检查点 |
| 独立最终 BPB | 训练集和验证集各 20,971,520 tokens，与周期性验证分开报告 |
| 日志坐标轴 | 优化器步数，在本地日志和可选的 tracking 中都一样 |
验证 BPB 是留出分片上的每字节比特数，越低越好。CORE 是 22 个任务上中心化准确率的平均值（按 0–1 计分，显示时 ×100），越高越好。 排行榜比较使用第 46,875 次更新时测得的数值，不做任何插值。
验证分片和 CORE-22 任务属于正式运行。不要用它们在候选方案、设置或随机种子之间做选择。研究中的选择请使用训练损失或 dev 划分
shard_06541.parquet：它是排序后的最后一个训练分片，正式运行从第一个分片开始读取，永远读不到它。