LSTM 门控机制实例解析#

第一道门：遗忘门 $f_t$——“该擦掉笔记本的哪些内容？”#

$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$

• 输出范围：0～1（$\sigma$ 函数保证）
• $f_t = 0$：完全擦除；$f_t = 1$：完全保留
• 直觉：$W_f$ 的参数经过训练后，会在看到”但/然而/不过”等转折词时，输出接近 0 的值

读到”但”时，遗忘门的决策：

1
f₄ ≈ [0.24, 0.28]
2

3
遗忘门决策可视化：
4
  维度1：保留 24%，擦除 76%  ██░░░░░░░░  → 大幅擦除正面情感极性
5
  维度2：保留 28%，擦除 72%  ██░░░░░░░░  → 大幅擦除情感强度记录

遗忘门”看到”了转折词 + 之前的正面情感，判断：这些正面记忆大部分不再有用，擦掉。

第二道门：输入门 $i_t$——“该往笔记本写多少新内容？”#

$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$

• 输出范围：0～1
• $i_t = 0$：不写入；$i_t = 1$：全量写入
• 与候选记忆 $\tilde{C}_t$ 配合：$i_t$ 是阀门，$\tilde{C}_t$ 是水

读到”但”时，输入门的决策：

1
i₄ ≈ [0.74, 0.73]
2

3
输入门决策可视化：
4
  维度1：写入 74%  ███████░░░  → 大量写入新信息
5
  维度2：写入 73%  ███████░░░  → 大量写入新信息

输入门”看到”了转折词，判断：有重要的新信息（转折关系）需要大量写入。

候选记忆 $\tilde{C}_t$——“准备写入的新内容是什么？”#

$\tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)$

• 输出范围：-1～1（用 $\tanh$ 而非 $\sigma$，因为记忆内容可以是负面的）
• 这只是”草稿”，实际写入多少由输入门 $i_t$ 决定

1
C̃₄ ≈ [0.39, 0.30]
2

3
候选记忆内容（草稿）：
4
  维度1：+0.39  ← 转折信号（正值，但比之前的正面情感弱）
5
  维度2：+0.30  ← 转折强度记录

细胞状态更新——“更新笔记本”#

$C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$

先擦旧内容，再写新内容：

1
擦除旧记忆：f₄ ⊙ C₃
2
  = [0.24, 0.28] ⊙ [0.90, 0.70]
3
  = [0.21, 0.19]   ← 旧的正面情感只剩两成
4

5
写入新信息：i₄ ⊙ C̃₄
6
  = [0.74, 0.73] ⊙ [0.39, 0.30]
7
  = [0.29, 0.22]   ← 转折信息大量写入
8

9
更新后：C₄ = [0.21+0.29, 0.19+0.22] = [0.50, 0.41]

笔记本变化可视化：

1
        维度1（情感极性）  维度2（情感强度）
2
C₃      █████████░  90%   ███████░░░  70%   ← 读"但"之前：正面情感强
3
C₄      █████░░░░░  50%   ████░░░░░░  41%   ← 读"但"之后：情感大幅减弱
4
变化     ↓ -40%            ↓ -29%

笔记本里的正面情感被大幅削减，转折信息写入——LSTM 感知到了语义的转折。

第三道门：输出门 $o_t$——“现在该输出笔记本的哪些内容？”#

$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$ $h_t = o_t \odot \tanh(C_t)$

• 笔记本（$C_t$）里记了很多，但当前步不一定全部需要
• 输出门决定”翻开哪几页”给下一步用

1
o₄ ≈ [0.74, 0.72]   ← 输出门开度较大，大量输出
2

3
h₄ = o₄ ⊙ tanh(C₄)
4
   = [0.74, 0.72] ⊙ tanh([0.50, 0.41])
5
   = [0.74, 0.72] ⊙ [0.46, 0.39]
6
   = [0.34, 0.28]

短期记忆变化：

1
        维度1（情感极性）  维度2（情感强度）
2
h₃      ████████░░  80%   ██████░░░░  60%   ← 读"但"之前：正面情感强
3
h₄      ███░░░░░░░  34%   ██░░░░░░░░  28%   ← 读"但"之后：情感明显减弱
4
变化     ↓ -46%            ↓ -32%

$h_4$ 将传给下一步（读”她”），携带着”刚经历了转折”的信息，为后续的”不喜欢狗”做好铺垫。