跳转到内容

训练指标

审计与导出直接读取运行目录内的 JSON 文件,离线也可使用。

文件 内容
metrics.jsonl 每行一个事件,例如 train、validation、core、final_bpb 或 budget_anomaly
provenance.json、resume_<step>.json 每段训练的配置、指纹、软件与批量布局
run_status.json、budget.json 运行阶段、最终状态与累计算力账本
val_<step>.json、core_<step>.json、core_final.json、bpb_final.json 计划评测点上的测量结果
checkpoint_<step>/、latest.json 每 5,000 次更新和训练结束时的检查点

train 事件记录优化器步数、输入 tokens、损失与辅助损失、梯度范数、学习率乘数、累计理论 FLOPs 及相对准入凭证的偏差。方法还可记录采样深度、路由统计或稀疏选择等诊断量。日志默认每 10 次更新写入,并记录首尾两次更新;用 --log-every 调整间隔。

Weights & Biases 默认关闭(--wandb-mode disabled)。在 offline 或 online 模式下,由 rank 0 记录数值、实验配置和运行来源,不上传模型、数据、源码或控制台文本。--wandb-metrics core 记录主要指标,full 记录全部数值字段。指标名按事件分组,例如 train/loss、validation/val_bpb、core/core_metric 和 final_bpb/val_bpb。在线凭据来自 WANDB_API_KEY 或挂载的 netrc 文件。