Transformer 总结与训练#

各组件速查表#

2.1 交叉熵损失#

Transformer 的训练目标是最小化交叉熵损失——让模型预测的概率分布尽量接近真实的 one-hot 分布：

$\mathcal{L} = -\frac{1}{T}\sum_{t=1}^{T} \log P(w_t^* \mid w_{<t})$

• $w_t^*$：位置 $t$ 的真实目标词
• $P(w_t^* \mid w_{<t})$：模型给出的概率

类比：模型在每个位置做一道”选择题”，答案是词表中的某个词。交叉熵损失 = “答错的程度”，越小越好。

2.2 Teacher Forcing#

训练时，解码器的输入不是模型自己上一步的预测，而是真实的目标序列（右移一位）：

1
目标序列: <BOS> I love learning <EOS>
2
解码器输入: <BOS> I love learning      ← 右移
3
解码器目标:  I   love learning <EOS>   ← 需要预测的

Exposure Bias

Teacher Forcing 导致模型训练时总是看到”正确的”前文，推理时却要面对自己可能出错的前文。一旦某步预测错了，后续全部偏离。缓解方法包括 Scheduled Sampling（训练中逐步增加使用自己预测的比例）。

为什么需要 Warmup？#

类比：刚开始训练时，模型参数是随机的，梯度方向不可靠。如果一上来就用大学习率，模型会”乱跑”。Warmup 就像汽车先怠速热车，等引擎稳定了再加速。

1
import subprocess
2
subprocess.check_call(["pip", "install", "numpy"])
3
import numpy as np
4

5
def transformer_lr(step, d_model=512, warmup_steps=4000):
6
    """原论文的学习率调度"""
7
    step = max(step, 1)  # 避免除零
8
    return d_model ** (-0.5) * min(step ** (-0.5), step * warmup_steps ** (-1.5))
9

10
# 打印关键节点的学习率
11
for step in [1, 1000, 4000, 10000, 50000, 100000]:
12
    lr = transformer_lr(step)
13
    print(f"Step {step:>6d}: lr = {lr:.6f}")

5.1 Dropout#

原论文在以下位置使用 Dropout（$p=0.1$）：

• 每个子层的输出（残差连接之前）
• Attention 权重矩阵
• Embedding 之后

5.2 梯度裁剪 (Gradient Clipping)#

限制梯度范数不超过阈值，防止梯度爆炸：

$g \leftarrow \frac{g}{\max(1,\; \|g\| / \text{max\_norm})}$

5.3 优化器：Adam#

原论文使用 Adam 优化器，参数 $\beta_1=0.9, \beta_2=0.98, \epsilon=10^{-9}$。

现代大模型通常使用 AdamW（Adam with Weight Decay），将权重衰减从梯度更新中解耦。

原论文训练配置#

现代大模型训练规模

GPT-3 (175B) 训练使用了约 3000 亿 token，耗时数周在数千张 GPU 上。LLaMA-2 (70B) 训练使用了 2 万亿 token。训练成本从原论文的几天、几张卡，膨胀到了数百万美元量级——但核心架构和训练技巧本质上没有变。