训练指标
审计与导出直接读取运行目录内的 JSON 文件,离线也可使用。
| 文件 | 内容 |
|---|---|
metrics.jsonl |
每行一个事件,例如 train、validation、core、final_bpb 或 budget_anomaly |
provenance.json、resume_<step>.json |
每段训练的配置、指纹、软件与批量布局 |
run_status.json、budget.json |
运行阶段、最终状态与累计算力账本 |
val_<step>.json、core_<step>.json、core_final.json、bpb_final.json |
计划评测点上的测量结果 |
checkpoint_<step>/、latest.json |
每 5,000 次更新和训练结束时的检查点 |
train 事件记录优化器步数、输入 tokens、损失与辅助损失、梯度范数、学习率乘数、累计理论 FLOPs 及相对准入凭证的偏差。方法还可记录采样深度、路由统计或稀疏选择等诊断量。日志默认每 10 次更新写入,并记录首尾两次更新;用 --log-every 调整间隔。
可选的实验追踪
Section titled “可选的实验追踪”Weights & Biases 默认关闭(--wandb-mode disabled)。在 offline 或 online 模式下,由 rank 0 记录数值、实验配置和运行来源,不上传模型、数据、源码或控制台文本。--wandb-metrics core 记录主要指标,full 记录全部数值字段。指标名按事件分组,例如 train/loss、validation/val_bpb、core/core_metric 和 final_bpb/val_bpb。在线凭据来自 WANDB_API_KEY 或挂载的 netrc 文件。