逻辑回归、Softmax 回归与损失函数#

2.1 Sigmoid 函数#

$\sigma(z) = \frac{1}{1 + e^{-z}}, \quad z = \mathbf{w}^T\mathbf{x} + b$

• 输入：任意实数 $z$
• 输出：$(0, 1)$ 之间的概率值
• 决策规则：$\hat{y} = 1$ 若 $\sigma(z) \geq 0.5$，否则 $\hat{y} = 0$

2.2 损失函数：二元交叉熵¹#

为什么不用 MSE？用 MSE 时 Sigmoid + MSE 组合会产生非凸损失曲面，梯度下降容易陷入局部最优。

$L = -\frac{1}{m}\sum_{i=1}^{m}\left[y^{(i)}\log\hat{y}^{(i)} + (1-y^{(i)})\log(1-\hat{y}^{(i)})\right]$

直觉理解：

• 若真实标签 $y=1$，预测 $\hat{y}$ 越接近 1，$-\log(\hat{y})$ 越接近 0（损失小）
• 若真实标签 $y=0$，预测 $\hat{y}$ 越接近 0，$-\log(1-\hat{y})$ 越接近 0（损失小）

1
import micropip
2
await micropip.install("numpy")
3
import numpy as np
4

5
def binary_cross_entropy(y_true, y_pred):
6
    # 防止 log(0) 数值不稳定，加一个极小值 epsilon
7
    eps = 1e-9
8
    y_pred = np.clip(y_pred, eps, 1 - eps)
9
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))
10

11
# 示例
12
y_true = np.array([1, 0, 1, 1])
13
y_pred = np.array([0.9, 0.1, 0.8, 0.3])
14
print(f"Loss: {binary_cross_entropy(y_true, y_pred):.4f}")  # 越小越好

3.1 从二分类到多分类#

类比：逻辑回归是”二选一投票”，Softmax 是”多选一投票”——把所有候选类别的得分转换成概率分布，所有类别概率之和为 1。

$P(y=k|\mathbf{x}) = \frac{e^{z_k}}{\sum_{j=1}^{K} e^{z_j}}, \quad z_k = \mathbf{w}_k^T\mathbf{x} + b_k$

• $K$：类别总数
• $z_k$：第 $k$ 个类别的原始得分（logit²）
• 输出：长度为 $K$ 的概率向量，所有元素之和为 1

3.2 损失函数：多类交叉熵#

$L = -\frac{1}{m}\sum_{i=1}^{m}\sum_{k=1}^{K} y_k^{(i)} \log \hat{y}_k^{(i)}$

其中 $y_k^{(i)}$ 是 one-hot 编码³，真实类别对应位置为 1，其余为 0。

1
import micropip
2
await micropip.install("numpy")
3
import numpy as np
4

5
def softmax(z):
6
    # 减去最大值防止数值溢出（exp 爆炸）
7
    z = z - np.max(z, axis=1, keepdims=True)
8
    exp_z = np.exp(z)
9
    return exp_z / np.sum(exp_z, axis=1, keepdims=True)
10

11
# 示例：3个样本，4个类别的 logits
12
z = np.array([[2.0, 1.0, 0.1, 0.5],
13
              [0.5, 2.5, 0.3, 1.0],
14
              [1.0, 0.2, 3.0, 0.8]])
15

16
probs = softmax(z)
17
print("概率分布:\n", np.round(probs, 3))
18
print("预测类别:", np.argmax(probs, axis=1))