梯度消失问题 (Vanishing Gradient Problem)#

4.1 换用 ReLU 激活函数（最直接）#

$\text{ReLU}(z) = \max(0, z), \quad \text{ReLU}'(z) = \begin{cases} 1 & z > 0 \\ 0 & z \leq 0 \end{cases}$

ReLU 在正区间导数恒为 1，梯度不会衰减。

代价：ReLU 存在”神经元死亡”²问题。改进版本：Leaky ReLU、ELU、GELU（Transformer 常用）。

4.2 批归一化（Batch Normalization）³#

在每层激活前对输入做归一化，将数据拉回激活函数的”敏感区间”，避免梯度在饱和区消失。

完整前向过程：

$\hat{z} = \frac{z - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}, \qquad \tilde{z} = \gamma \hat{z} + \beta$

• $\mu_B, \sigma_B^2$：当前 mini-batch 的均值和方差（训练时动态计算，推理时用全局统计量）
• $\gamma$（scale）：可学习的缩放参数，初始化为 1
• $\beta$（shift）：可学习的平移参数，初始化为 0
• 为什么需要 $\gamma, \beta$：纯归一化会破坏网络已学到的特征分布（例如强制均值为0会抹去有意义的偏置）。$\gamma, \beta$ 让网络自行决定”需要多少归一化”，在极端情况下可以完全撤销归一化（$\gamma = \sigma_B, \beta = \mu_B$）。

1
import micropip
2
await micropip.install("numpy")  # 仅适用于 Obsidian Code Emitter (Pyodide) 环境
3
import numpy as np
4

5
def batch_norm(Z, gamma, beta, eps=1e-8):
6
    """
7
    Z     : 当前层线性输出，形状 (batch_size, features)
8
    gamma : 可学习缩放，形状 (features,)，初始化为 1
9
    beta  : 可学习平移，形状 (features,)，初始化为 0
10
    """
11
    mu  = Z.mean(axis=0)
12
    var = Z.var(axis=0)
13
    Z_hat = (Z - mu) / np.sqrt(var + eps)   # 标准化
14
    return gamma * Z_hat + beta             # 仿射变换（恢复表达能力）
15

16
Z     = np.random.randn(32, 64) * 10
17
gamma = np.ones(64)    # 初始 scale = 1
18
beta  = np.zeros(64)   # 初始 shift = 0
19
Z_bn  = batch_norm(Z, gamma, beta)
20
print(f"归一化前: 均值={Z.mean():.2f}, 标准差={Z.std():.2f}")
21
print(f"归一化后: 均值={Z_bn.mean():.4f}, 标准差={Z_bn.std():.4f}")

4.3 残差连接（Residual Connection）⁴#

ResNet 的核心思想：让梯度有一条”高速公路”直接跳过若干层传回去，绕过可能消失的路径。

$\mathbf{y} = F(\mathbf{x}, W) + \mathbf{x}$

为什么有效——梯度视角：

对损失 $L$ 求 $\mathbf{x}$ 的梯度：

$\frac{\partial L}{\partial \mathbf{x}} = \frac{\partial L}{\partial \mathbf{y}} \cdot \frac{\partial \mathbf{y}}{\partial \mathbf{x}} = \frac{\partial L}{\partial \mathbf{y}} \left(1 + \frac{\partial F}{\partial \mathbf{x}}\right)$

加法中的常数项 1 保证了梯度始终有一条不衰减的通路直达浅层，无论 $\frac{\partial F}{\partial \mathbf{x}}$ 多小。

维度不匹配时：若 $F(\mathbf{x})$ 与 $\mathbf{x}$ 维度不同（如通道数变化），用 $1\times1$ 卷积对跳跃连接做线性投影：

$\mathbf{y} = F(\mathbf{x}, W) + W_s\mathbf{x}$

ResNet-152（152层）正是靠残差连接实现的。Transformer 中每个子层后的 Add & Norm 也是同一机制。

4.4 权重初始化策略#

不合理的初始化会在训练开始就引发梯度消失。

1
import micropip
2
await micropip.install("numpy")
3
import numpy as np
4

5
def xavier_init(n_in, n_out):
6
    """适用于 Sigmoid/Tanh"""
7
    limit = np.sqrt(6 / (n_in + n_out))
8
    return np.random.uniform(-limit, limit, (n_in, n_out))
9

10
def he_init(n_in, n_out):
11
    """适用于 ReLU"""
12
    std = np.sqrt(2 / n_in)
13
    return np.random.randn(n_in, n_out) * std
14

15
W_xavier = xavier_init(256, 128)
16
W_he = he_init(256, 128)
17
print(f"Xavier 初始化: 均值={W_xavier.mean():.4f}, 标准差={W_xavier.std():.4f}")
18
print(f"He 初始化:     均值={W_he.mean():.4f}, 标准差={W_he.std():.4f}")