# GPT-2 能力模型配置depth 26 # Transformer 层数width 3072 # 嵌入维度n_head 32 # 注意力头数head_dim 96 # 每头维度# 计算验证total_params ≈ depth × width² × 6≈ 26 × 3072² × 6≈ 1.47B 参数 nanochat 核心结构——模型架构参数
# GPT-2 能力模型配置depth 26 # Transformer 层数width 3072 # 嵌入维度n_head 32 # 注意力头数head_dim 96 # 每头维度# 计算验证total_params ≈ depth × width² × 6≈ 26 × 3072² × 6≈ 1.47B 参数