RNN 完整过程实例解析#

核心公式#

$h_t = \tanh\bigl(W_x \cdot x_t + W_h \cdot h_{t-1} + b\bigr)$

用一句话理解：新记忆 = tanh（当前词的信息 + 上一步的记忆）

• $W_x \cdot x_t$：从当前词提取信息
• $W_h \cdot h_{t-1}$：把上一步的记忆带过来
• $\tanh$：把结果压缩到 -1～1，防止数值爆炸

参数共享：$W_x$、$W_h$、$b$ 在读”我”、“爱”、“学习”时用的是完全同一套参数。就像同一个人读每个词，不是换三个人分别读。

第 1 步：读”我”（t=1）#

初始状态：$h_0 = [0.0,\ 0.0]$（什么都不知道）

$h_1 = \tanh(W_x \cdot x_1 + W_h \cdot h_0 + b)$

由于 $h_0$ 全零，$W_h \cdot h_0$ 贡献为零，第一步完全由当前词决定：

$h_1 \approx \tanh(W_x \cdot [0.9,\ 0.1]) = [0.42,\ 0.10]$

记忆状态可视化：

1
读完"我"后，h₁ = [0.42, 0.10]
2

3
维度1（主语/动作）: ████░░░░░░  42%  ← "我"激活了主语信息
4
维度2（情感强度）: █░░░░░░░░░  10%  ← 情感几乎空白，"我"是中性词

此刻 RNN 只知道”有一个主语”，对情感一无所知。

第 2 步：读”爱”（t=2）#

$h_2 = \tanh(W_x \cdot x_2 + W_h \cdot h_1 + b)$

这一步有两个来源：

• $W_x \cdot x_2$：从”爱”这个词提取情感信息
• $W_h \cdot h_1$：把上一步”知道有主语”的记忆带过来

$h_2 \approx [0.72,\ 0.22]$

记忆状态可视化：

1
读完"爱"后，h₂ = [0.72, 0.22]
2

3
维度1（主语/动作）: ███████░░░  72%  ↑ 从42%升到72%（"爱"也是动作词）
4
维度2（情感强度）: ██░░░░░░░░  22%  ↑ 从10%升到22%（情感开始激活！）

$h_2$ 同时包含了”我”和”爱”的信息——这就是隐藏状态作为记忆的体现。

第 3 步：读”学习”（t=3）#

$h_3 = \tanh(W_x \cdot x_3 + W_h \cdot h_2 + b)$

$h_3 \approx [0.71,\ 0.73]$

记忆状态可视化：

1
读完"学习"后，h₃ = [0.71, 0.73]
2

3
维度1（主语/动作）: ███████░░░  71%  → 基本稳定
4
维度2（情感强度）: ███████░░░  73%  ↑↑ 大幅上升！（"学习"强化了正面情感）

三步记忆演变对比：

1
        维度1  维度2
2
h₁ "我"  42%   10%   ░░ 情感空白
3
h₂ "爱"  72%   22%   ▒▒ 情感萌芽
4
h₃"学习" 71%   73%   ██ 情感成熟

$h_3$ 压缩了”我爱学习”的全部语义，情感维度从 10% 飙升到 73%，正面情感信号强烈。

5.1 用”追责”理解 BPTT#

类比：老师批完试卷（计算损失 0.33），发现答得不够好，开始追责：

• 先找最后一步 h₃：“你输出的情感信号不够强，扣分”
• h₃ 把责任往前推给 h₂：“我的问题有一部分是你传给我的记忆不够好”
• h₂ 再往前推给 h₁：“我的问题有一部分来自你”
• 每一步都记录自己该承担多少责任（梯度）
• 最后把所有步骤的责任汇总，统一调整参数

5.2 参数共享在反向传播中的体现#

因为 $W_x$ 在 3 步都用了同一套参数，它的梯度是三步贡献的累加：

$\frac{\partial L}{\partial W_x} = \underbrace{\delta_1 \otimes x_1}_{t=1\text{ 的贡献}} + \underbrace{\delta_2 \otimes x_2}_{t=2\text{ 的贡献}} + \underbrace{\delta_3 \otimes x_3}_{t=3\text{ 的贡献}}$

类比：同一个人读了 3 个词，每个词都给了他一些反馈，他把所有反馈加在一起，统一调整一次阅读策略。不是读一个词就调整一次。

5.3 参数更新#

$W_x \leftarrow W_x - \eta \cdot \frac{\partial L}{\partial W_x}, \qquad W_h \leftarrow W_h - \eta \cdot \frac{\partial L}{\partial W_h}$

$\eta$ 是学习率（如 0.01）。经过成千上万句话的训练，$W_x$ 和 $W_h$ 逐渐学会：

• 遇到”爱”、“喜欢”这类词，情感维度大幅激活
• 遇到”不”、“但”这类词，情感维度反转