正则化与归一化#

1. 正则化 (Regularization)#

目的：通过在损失函数中添加惩罚项，限制模型复杂度，防止过拟合。

1
from sklearn.linear_model import Ridge, Lasso, ElasticNet
2

3
ridge = Ridge(alpha=1.0)    # alpha 即 λ
4
lasso = Lasso(alpha=0.1)
5
elastic = ElasticNet(alpha=0.1, l1_ratio=0.5)

2. 特征缩放（Normalization / Standardization）#

目的：消除特征量纲差异，加速梯度下降收敛，提升模型稳定性。

严格来说，归一化 和 标准化 不是同一个操作；日常讨论里常被统称为“特征缩放”。

1
from sklearn.preprocessing import MinMaxScaler, StandardScaler, RobustScaler
2

3
scaler = StandardScaler()
4
X_train_scaled = scaler.fit_transform(X_train)
5
X_test_scaled = scaler.transform(X_test)  # 注意：测试集只 transform，不 fit
6

7
robust_scaler = RobustScaler()  # 异常值较多时可选

3. 正则化 vs 归一化#

两者解决不同问题，实际项目中通常同时使用。

4. 惩罚项（Penalty Term）#

目的：在经验损失之外增加”复杂度代价”，防止模型因为参数过大或过多而过拟合。

$\text{Objective} = \text{Data Loss} + \lambda \Omega(w)$

• $\text{Data Loss}$：模型在训练数据上的误差
• $\Omega(w)$：惩罚项，用来约束模型复杂度
• $\lambda$：权衡”拟合训练集”与”控制复杂度”的强度

常见形式：

• L1 惩罚项：$\Omega(w) = \sum |w_i|$，会产生稀疏权重，可用于特征选择
• L2 惩罚项：$\Omega(w) = \sum w_i^2$，会让权重整体变小，训练更平滑稳定

可以把它理解成”模型越复杂，额外成本越高”。升维负责增强表达能力，惩罚项负责抑制复杂度，Early Stopping 则是在训练过程中提前刹车。

5. Early Stopping#

目的：在验证集损失开始上升时提前终止训练，防止过拟合。

实现示例（PyTorch）：

1
import torch
2

3
best_val_loss = float('inf')
4
patience, counter = 10, 0
5

6
for epoch in range(max_epochs):
7
    train(model)
8
    val_loss = evaluate(model)
9

10
    if val_loss < best_val_loss:
11
        best_val_loss = val_loss
12
        counter = 0
13
        torch.save(model.state_dict(), 'best_model.pt')
14
    else:
15
        counter += 1
16
        if counter >= patience:
17
            print(f"Early stopping at epoch {epoch}")
18
            break

patience 参数控制容忍验证集损失不改善的轮数，通常设为 5~20。工程上通常还会在停止后恢复验证集表现最好的那版权重。