1. Foundations: 线性回归 → 逻辑回归 → MLP → 损失函数谱 → 泛化与正则

TL;DR

机器学习的入口几乎都是最小二乘线性回归的某种变体: 从把输出层加个 sigmoid 就成二分类, 把单层 perceptron 堆成多层 → 多层感知机 (MLP), 把损失从 MSE 换成 CE / contrastive / ELBO 就成各种生成模型. 这一章把这个家族谱铺好:

1. 线性回归 — 最小二乘的闭式解; 几何 = 投影; 概率 = Gaussian MLE.
2. 逻辑回归 — sigmoid + 交叉熵 = Bernoulli MLE; 凸.
3. MLP — 加一层非线性就够表达任意函数; 迭代优化替代闭式解.
4. 损失函数谱 — 回归 / 分类 / 排序 / 对比 / 生成 各家损失都是 MLE 的不同形式.
5. 泛化与正则 — 经验风险 vs 真实风险, 偏差-方差, L1/L2/dropout.

读完应能: 给一个任务 (分类 / 回归 / 排序 / 生成) 立刻报出对应的输出激活、损失家族、对应概率假设, 并知道该不该上正则、上哪种.

一、线性回归: 一切的起点

1.1 问题与最小二乘

给定训练集 ${(x_i, y_i)}_{i=1}^n$, $x_i \in \mathbb{R}^d, y_i \in \mathbb{R}$. 模型 $\hat y_i = \boldsymbol \beta^\top x_i$. 损失为残差平方和:

$$ \mathcal{L}(\boldsymbol \beta) = \sum_i (y_i - \boldsymbol\beta^\top x_i)^2 = |\boldsymbol y - X \boldsymbol\beta|_2^2 $$

其中 $X \in \mathbb{R}^{n \times d}$ 行为样本. 令梯度为 0:

$$ \nabla_\beta \mathcal{L} = -2 X^\top (\boldsymbol y - X \boldsymbol\beta) \overset{!}{=} 0 ;\Rightarrow; X^\top X ,\boldsymbol\beta = X^\top \boldsymbol y $$

正则方程: $\boldsymbol\beta^* = (X^\top X)^{-1} X^\top \boldsymbol y$ (列满秩时).

import numpy as np

def ols(X, y):
    # 闭式最小二乘 (注意数值稳定性: 推荐 lstsq 而不是直接求逆)
    return np.linalg.lstsq(X, y, rcond=None)[0]

# 等价的几何视角: 残差正交于 X 的列空间
X = np.random.randn(100, 3); beta_true = np.array([1.0, -2.0, 0.5])
y = X @ beta_true + 0.1 * np.random.randn(100)
beta_hat = ols(X, y)
residual = y - X @ beta_hat
assert np.allclose(X.T @ residual, 0, atol=1e-10)  # 残差 ⊥ 列空间

1.2 三种等价视角

1.3 概率视角的延伸

如果残差不服从 Gaussian 而服从 Laplace $\frac{1}{2b}\exp(-|e|/b)$, MLE 推出的是绝对值损失 (LAD):

$$ \mathcal{L}_{\text{LAD}}(\boldsymbol\beta) = \sum_i |y_i - \boldsymbol\beta^\top x_i| $$

这就是"为什么 LAD 比 OLS 鲁棒": Laplace 先验有更长尾, 拟合时不太被异常点拉走.

1.4 正则化: ridge / lasso / elastic net

加先验等价正则:

• Ridge ($L_2$): $\mathcal{L} = |y - X\boldsymbol\beta|^2 + \lambda |\boldsymbol\beta|_2^2$ ⇒ Gaussian 先验; 解 $\boldsymbol\beta^* = (X^\top X + \lambda I)^{-1} X^\top y$ 永远存在 (即使 $X^\top X$ 奇异).
• LASSO ($L_1$): $\mathcal{L} = |y - X\boldsymbol\beta|^2 + \lambda |\boldsymbol\beta|_1$ ⇒ Laplacian 先验; 产生稀疏解 (许多 $\beta_i = 0$).
• Elastic net: $L_2 + L_1$ 加权混合, 高度相关特征群组选择.

二、逻辑回归: 从回归到分类

2.1 二分类的 MLE

设 $\Pr(y=1 | x) = \sigma(\boldsymbol\beta^\top x)$, $\sigma(a) = \frac{1}{1+e^{-a}}$. 数据似然:

$$ \prod_i \sigma(\boldsymbol\beta^\top x_i)^{y_i} (1 - \sigma(\boldsymbol\beta^\top x_i))^{1-y_i} $$

取 $-\log$ 得二元交叉熵:

$$ \mathcal{L}_{\text{logistic}}(\boldsymbol\beta) = -\sum_i \big[ y_i \log \hat p_i + (1 - y_i) \log(1 - \hat p_i) \big], \quad \hat p_i = \sigma(\boldsymbol\beta^\top x_i) $$

2.2 关键性质

• $\sigma'(a) = \sigma(a)(1 - \sigma(a))$ → 反向传播极简: $\partial \mathcal{L}/\partial a_i = \hat p_i - y_i$.
• 凸函数 (Hessian 半正定), 但非强凸 (当数据完全可分时 $|\boldsymbol\beta| \to \infty$ 收敛), 这时需要正则.
• 极大熵角度: 在 $\mathbb{E}[y | x] = \sigma(\boldsymbol\beta^\top x)$ 约束下, Bernoulli 极大熵分布 = logistic; 见第零部分 §4.7.

2.3 多分类: softmax + 交叉熵

$K$ 类: $\Pr(y = k | x) = \mathrm{softmax}(W^\top x)_k = \frac{e^{w_k^\top x}}{\sum_l e^{w_l^\top x}}$.

$$ \mathcal{L}{\text{CE}}(W) = -\sum_i \log \frac{e^{w{y_i}^\top x_i}}{\sum_l e^{w_l^\top x_i}} $$

反向梯度 (回顾第零部分 §2.3 softmax 雅可比): $\partial \mathcal{L} / \partial a_l = \mathrm{softmax}(a)_l - \mathbb{1}[y = l]$. 一行公式就是 logistic 二元版, 也是 Transformer LM head 的损失.

2.4 multinomial 与共轭先验

• 似然 multinomial + 共轭先验 Dirichlet ⇒ 后验仍是 Dirichlet. 这就是 LDA 主题模型与 transformer 词频建模的根基. 见第零部分概率 §4.4 共轭先验速查.

三、MLP: 单层到多层

3.1 XOR 问题: 单层 perceptron 学不动

直线 $\boldsymbol\beta^\top x + b = 0$ 无法分对角点; 1969 Minsky-Papert 一书指出, 推动感知机第一次寒冬.

3.2 多层感知机 (MLP)

两层 + 非线性激活:

$$ f(x) = W_2 ,\sigma(W_1 x + \boldsymbol b_1) + \boldsymbol b_2 $$

• $W_1 \in \mathbb{R}^{h \times d}$, $\sigma$ 逐元素非线性, $W_2 \in \mathbb{R}^{k \times h}$.
• $h$ 充分大 ⇒ 万能近似器 (Cybenko 1989 for sigmoid, Hornik 1991 一般化).
• 但训练需要反向传播, 这是下一章主题.

3.3 激活函数谱

3.4 逼近定理的工程含义

通用近似定理只是"存在性", 不教你"怎么找到那个权重". 深网比浅网指数级更省参数表达某些函数 (Telgarsky 2016): 把 $\mathcal{O}(2^k)$ 个 oscillation 拟合, 深度 $k$ 网用 $\mathcal{O}(k)$ 个参数, 浅网用 $\mathcal{O}(2^k)$. → "为什么深而不是宽"的数学根.

四、损失函数谱: 一张总表

绝大多数损失都是"输出激活 + 类似然负对数"的二元组合:

4.1 对比损失详解 (SimCLR / CLIP)

$$ \mathcal{L} = -\log \frac{\exp(\mathrm{sim}(z_i, z_i^+)/\tau)}{\sum_{j} \exp(\mathrm{sim}(z_i, z_j)/\tau)} $$

其中 $z_i^+$ 是 anchor 正样本, $z_j$ 是 batch 内其它 (负) 样本, $\mathrm{sim} = \cos$. 这本质就是 softmax+CE, "类" = "正样本对 vs 负样本对".

→ 一行话打通 representation learning & classification.

4.2 排序损失: BPR 与 LambdaRank

BPR (Bayesian Personalized Ranking): 给正样本 $i$ 与负样本 $j$, 模型打分 $s_u(i), s_u(j)$, 损失

$$ \mathcal{L}_{\text{BPR}} = -\log \sigma(s_u(i) - s_u(j)) $$

→ 让正样本打分恒高于负样本.

LambdaRank 进一步在梯度上乘 $\Delta \text{NDCG}$ 让"高位置错位惩罚更重", 工业推荐系统标准.

五、泛化与正则

5.1 经验风险 vs 真实风险

设训练集 $\mathcal{D} = {(x_i, y_i)}{i=1}^n$ 来自分布 $\mathcal{P}$. 经验风险 $\hat R(\theta) = \frac{1}{n}\sum \ell(f\theta(x_i), y_i)$, 真实风险 $R(\theta) = \mathbb{E}{(x,y)\sim\mathcal{P}}[\ell(f\theta(x), y)]$.

学习目标是最小化 $R$, 但只能观测 $\hat R$. 泛化 gap $|R - \hat R|$ 由 Hoeffding + Rademacher complexity 控制 (回顾第零部分概率 §6.3):

$$ R(\theta) \leq \hat R(\theta) + \mathcal{O}\left(\sqrt{\frac{\mathrm{complexity}}{n}}\right) $$

5.2 偏差-方差分解

平方损失下:

$$ \mathbb{E}[(y - \hat f(x))^2] = \underbrace{(\mathbb{E}[\hat f] - f)^2}{\text{偏差}^2} + \underbrace{\operatorname{Var}(\hat f)}{\text{方差}} + \underbrace{\sigma^2}_{\text{噪声}} $$

• 模型太弱 → 高偏差 (欠拟合).
• 模型太强 + 数据少 → 高方差 (过拟合).
• 同一容量下 ensemble (随机森林 / dropout) 减方差而不增偏差 → 为什么 ensemble 与 dropout 有效的根源.

5.3 正则手段总表

5.4 双下降 (double descent, Belkin 2019)

经典偏差-方差 U 形是单一峰; 实际深度学习在过参数化时, "test 风险继续下降":

risk
  ↑
  │  ╲              ╱── over-parameterized → ↓
  │   ╲            ╱
  │    ╲      interp╱
  │     ╲     ●   ╱
  │      ╲   ╱│╲ ╱
  │       ╲ ╱ │ ╳
  │        ●  │ ╳──   (second descent)
  │            │
  └─────────────→ model capacity
   underfit  interp  over-param

数学解释: 当参数 $N \gg$ 样本 $n$ 时, 训练误差可达 0, 但在"最小 $L_2$ 范数解"附近的 implicit bias 让泛化仍良. 现代大模型在 right side of interp 训练.

5.5 PAC 学习一瞥

Probably Approximately Correct (Valiant 1984): 一类 $\mathcal{H}$ PAC-可学 iff 存在算法 $A$, 多项式样本与时间, 以 $\geq 1 - \delta$ 概率输出 $h \in \mathcal{H}$ 使 $R(h) \leq \epsilon + \min_h R(h)$, 任给 $\epsilon, \delta$.

→ 把"学得动与否"形式化: 它不是"能否拟合", 而是"用什么样本复杂度能可证泛化".

复杂度上限样本数 (回 Hoeffding 第零部分 §6.3): $n \geq \frac{1}{2\epsilon^2}\log(2|\mathcal{H}|/\delta)$.

→ 直觉给了"快速高方差模型训练"应该重看 validation 的依据.

六、最小可跑的回归 + 分类 pipeline (NumPy only)

import numpy as np

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def logreg_train(X, y, lr=0.1, epochs=500):
    n, d = X.shape
    W = np.zeros(d); b = 0.0
    for _ in range(epochs):
        p = sigmoid(X @ W + b)
        grad_W = X.T @ (p - y) / n   # 解析梯度: σ - y
        grad_b = (p - y).mean()
        W -= lr * grad_W; b -= lr * grad_b
    return W, b

def logreg_predict(X, W, b):
    return (sigmoid(X @ W + b) > 0.5).astype(int)

if __name__ == "__main__":
    from sklearn.datasets import make_moons
    X, y = make_moons(200, noise=0.1, random_state=0)
    W, b = logreg_train(X, y)
    acc = (logreg_predict(X, W, b) == y).mean()
    print(f"acc = {acc:.3f}")   # moons 非线性可分, 线性逻辑回归只能到 ~0.83
    # 升到 MLP + tanh 就能拟合月牙

// 浏览器/Node 上的 toy logistic regression
export function sigmoid(z: number): number { return 1 / (1 + Math.exp(-z)); }

export function logregTrain(
  X: number[][], y: number[],
  lr = 0.1, epochs = 500,
): { W: number[]; b: number } {
  const n = X.length, d = X[0].length;
  const W = new Array(d).fill(0); let b = 0;
  for (let e = 0; e < epochs; e++) {
    const gW = new Array(d).fill(0); let gb = 0;
    for (let i = 0; i < n; i++) {
      let s = b; for (let k = 0; k < d; k++) s += X[i][k] * W[k];
      const p = sigmoid(s); const r = p - y[i]; gb += r;
      for (let k = 0; k < d; k++) gW[k] += X[i][k] * r;
    }
    for (let k = 0; k < d; k++) W[k] -= lr * gW[k] / n;
    b -= lr * gb / n;
  }
  return { W, b };
}

七、结束 + 速查表

下一篇: 2. Backpropagation: 计算图 / 反向模式 AD / 雅可比链式 / 梯度检查.