模型外壳

每个方法都在同一个由 nanochat d24 GPT 派生的共享外壳中实现，这样结果之间的差异来自所研究的机制，而不是偶然的实现选择。

默认设置

外部宽度 1536，12 个维度为 128 的 query head，词表 32,768，FFN 宽度 6144。外壳保留不共享的输入和输出嵌入、ReLU² FFN、原生 RMSNorm、适用时的 QK 归一化和 RoPE 策略、value embedding（VE）、smear、backout，以及可学习的残差和 x0 系数；除非某个已登记的机制需要明确且有文档说明的调整。

方法可以改变什么

层数、共享核心的大小、循环分布、稀疏选择、状态和潜变量维度、必需的门控、卷积和归一化，以及登记的 FFN 宽度，都是架构变量。在成本校准之前冻结方法的语义，记录对外壳的每一处必要修改；当某个修改本身就可能解释结果时（例如去掉 value embedding），要提供配对的对照实验。

注意力布局

SSSL 的因果短窗口元组 (512, 0) 包含当前 token，所以最大可见跨度为 513 tokens。循环模型按展开后的执行位置安排窗口。纯稀疏和纯线性的 mixer 会替换每一层的注意力；残留的 window_pattern=SSSL 字段并不表示这些 mixer 使用 SSSL。hybrid 会序列化实际的逐层布局（layer_mixers），加载时会校验该布局。

参数量是结果

独立参数量、推理成本、显存、吞吐和 GPU 小时都只报告、不控制。预算是训练算力；预算相同的两个方法，参数量可能相差很大。

方法来源说明逐个方法记录了每个实现保留了论文中的哪些内容、做了哪些调整。