零基础学习机器学习（七）Softmax回归的基本原理和简单实现

回归可以用于预测多少的问题。 比如预测房屋被售出价格，或者棒球队可能获得的胜场数，又或者患者住院的天数。

事实上，我们也对分类问题感兴趣：不是问“多少”，而是问“哪一个”：

• 某个电子邮件是否属于垃圾邮件文件夹？
• 某个用户可能注册或不注册订阅服务？
• 某个图像描绘的是驴、狗、猫、还是鸡？
• 某人接下来最有可能看哪部电影？

通常，机器学习实践者用分类这个词来描述两个有微妙差别的问题：

1. 我们只对样本的“硬性”类别感兴趣，即属于哪个类别；
2. 我们希望得到“软性”类别，即得到属于每个类别的概率。

这两者的界限往往很模糊。其中的一个原因是：即使我们只关心硬类别，我们仍然使用软类别的模型。

Softmax分类的原理

分类问题

我们从一个图像分类问题开始。 假设每次输入是一个$2 \times 2$的灰度图像。 我们可以用一个标量表示每个像素值，每个图像对应四个特征$x_1, x_2, x_3, x_4$。 此外，假设每个图像属于类别“猫”“鸡”和“狗”中的一个。

接下来，我们要选择如何表示标签。 我们有两个明显的选择：最直接的想法是选择$y \sub \{1,2,3\}$， 其中整数分别代表{狗,猫,鸡}。 这是在计算机上存储此类信息的有效方法。 如果类别间有一些自然顺序， 比如说我们试图预测 {婴儿,儿童,青少年,青年人,中年人,老年人}， 那么将这个问题转变为回归问题，并且保留这种格式是有意义的。

但是一般的分类问题并不与类别之间的自然顺序有关。 幸运的是，统计学家很早以前就发明了一种表示分类数据的简单方法：独热编码（one-hot encoding）。 独热编码是一个向量，它的分量和类别一样多。 类别对应的分量设置为1，其他所有分量设置为0。 在我们的例子中，标签y将是一个三维向量， 其中(1,0,0)对应于“猫”、(0,1,0)对应于“鸡”、(0,0,1)对应于“狗”：

$$y \sub \{(1,0,0),(0,1,0),(0,0,1)\}$$

网络架构

为了估计所有可能类别的条件概率，我们需要一个有多个输出的模型，每个类别对应一个输出。 为了解决线性模型的分类问题，我们需要和输出一样多的仿射函数（affine function）。 每个输出对应于它自己的仿射函数。 在我们的例子中，由于我们有4个特征和3个可能的输出类别， 我们将需要12个标量来表示权重（带下标的w）， 3个标量来表示偏置（带下标的b）。 下面我们为每个输入计算三个未规范化的预测（logit）：$o_1, o_2, o_3$

$$o_1 = x_1w_{11} + x_2w_{12} + x_3w_{13} + x_4w_{14} + b_1 \\ o_2 = x_1w_{21} + x_2w_{22} + x_3w_{23} + x_4w_{24} + b_2 \\ o_3 = x_1w_{31} + x_2w_{32} + x_3w_{33} + x_4w_{34} + b_3 \\$$

与线性回归一样，softmax回归也是一个单层神经网络。 由于计算每个输出$o_1, o_2, o_3$ 取决于所有输入$x_1,x_2,x_3,x_4$ 所以softmax回归的输出层也是全连接层

为了更简洁地表达模型，我们仍然使用线性代数符号。 通过向量形式表达为$o = Wx + b$， 这是一种更适合数学和编写代码的形式。 由此，我们已经将所有权重放到一个$3 \times 4$ 矩阵中。 对于给定数据样本的特征， 我们的输出是由权重与输入特征进行矩阵-向量乘法再加上偏置得到的。

$$\begin{bmatrix} o_1 \\ o_2 \\ o_3 \end{bmatrix} = \begin{bmatrix} w_{11} \quad w_{12} \quad w_{13} \quad w_{14} \\ w_{21} \quad w_{22} \quad w_{23} \quad w_{24} \\ w_{31} \quad w_{32} \quad w_{33} \quad w_{34} \\ \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \end{bmatrix} + \begin{bmatrix} b_1 \\ b_2 \\ b_3 \end{bmatrix}$$

softmax运算

现在我们将优化参数以最大化观测数据的概率。 为了得到预测结果，我们将设置一个策略，如选择具有最大概率的标签。

我们希望模型的输出$\hat{y_j}$可以视为属于类j的概率， 然后选择具有最大输出值的类别$argmax_j y_j$ 作为我们的预测。 例如，如果$\hat{y_1}, \hat{y_2}, \hat{y_3}$分别为0.1、0.8和0.1， 那么我们预测的类别是2，在我们的例子中代表“鸡”。

然而我们能否将未规范化的预测o直接视作我们感兴趣的输出呢？ 答案是否定的。 因为将线性层的输出直接视为概率时存在一些问题： 一方面，我们没有限制这些输出数字的总和为1。 另一方面，根据输入的不同，它们可以为负值。 这些违反了概率基本公理。

要将输出视为概率，我们必须保证在任何数据上的输出都是非负的且总和为1。 此外，我们需要一个训练的目标函数，来激励模型精准地估计概率。 例如， 在分类器输出0.5的所有样本中，我们希望这些样本是刚好有一半实际上属于预测的类别。 这个属性叫做校准（calibration）。

社会科学家邓肯·卢斯于1959年在选择模型（choice model）的理论基础上 发明的softmax函数正是这样做的： softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持 可导的性质。 为了完成这一目标，我们首先对每个未规范化的预测求幂，这样可以确保输出非负。 为了确保最终输出的概率值总和为1，我们再让每个求幂后的结果除以它们的总和。如下式：

$$\hat{y} = softmax(o)，其中, \hat{y_j} = \frac{e^{o_j}}{\sum_k e^{o_k}}$$

softmax运算不会改变未规范化的预测o之间的大小次序，只会确定分配给每个类别的概率。 因此，在预测过程中，我们仍然可以用下式来选择最有可能的类别。

$$argmax_j \hat{y_j} = argmax_j o_j$$

小批量样本的矢量化

为了提高计算效率并且充分利用GPU，我们通常会对小批量样本的数据执行矢量计算。 假设我们读取了一个批量的样本X， 其中特征维度（输入数量）为d，批量大小为n。 此外，假设我们在输出中有q个类别。 那么小批量样本的特征为$X \sub R^{n \times d}$， 权重为$W \sub R^{d \times q}$， 偏置为$b \sub R^{1 \times q}$。 softmax回归的矢量计算表达式为:

$$O = XW + b, \\ \hat{Y} = softmax(O)$$

相对于一次处理一个样本， 小批量样本的矢量化加快了X和W的矩阵-向量乘法。 由于X中的每一行代表一个数据样本， 那么softmax运算可以按行（rowwise）执行： 对于O的每一行，我们先对所有项进行幂运算，然后通过求和对它们进行标准化。

XW + b的求和会使用广播机制， 小批量的未规范化预测O和输出概率$\hat{Y}$都是形状为$n \times q$的矩阵。
在矩阵运算中，n 行 q 列的矩阵，与 1 行 q 列的矩阵相加，本质上依赖于广播机制（Broadcasting）—— 这是矩阵运算中处理 “维度不匹配但可兼容” 情况的核心规则，而非直接按 “对应元素一一相加”（普通矩阵加法要求维度完全相同）。广播机制的核心逻辑是：当两个矩阵的 “列数相同” 时，可将行数较少的矩阵）“复制扩展” 为与行数较多的矩阵维度完全相同的矩阵，再进行普通元素级加法。

损失函数

接下来，我们需要一个损失函数来度量预测的效果。 我们将使用最大似然估计

对数似然

softmax函数给出了一个向量$\hat{y}$， 我们可以将其视为“对给定任意输入的每个类的条件概率”。例如$\hat{y_1} = P(y = 猫 ｜ x)$，假设整个数据集 {X, Y}有n个样本，其中索引为i的样本由特征向量$x^{(i)}$ 和独热标签向量$y^{(i)}$组成。我们可以将估计值和实际值进行比较：

$$P(\mathbf{Y} \mid \mathbf{X}) = \prod_{i=1}^{n} P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)})$$

根据最大似然估计，我们最大化$P(\mathbf{Y} \mid \mathbf{X})$，相当于最小化负对数似然：

$$-\log P(\mathbf{Y} \mid \mathbf{X}) = -\sum_{i=1}^{n} \log P(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}) = \sum_{i=1}^{n} l(\mathbf{y}^{(i)}, \hat{\mathbf{y}}^{(i)})$$

对于任何标签y和模型预测$\hat{y}$，损失函数为：

$$l(\mathbf{y}, \hat{\mathbf{y}}) = - \sum_{j=1}^qy_jlog\hat{y_j}$$

上述公式的详细解释：

1. 明确softmax和概率的关系

softmax函数的输出$\hat{y_j}$ (j = 1, 2, 3, … q, q为类别数)，表示输入x是第j类的概率，即$\hat{y_j} = P(y = j \mid x)$, 同时，y是独热向量，只有对应真实位置为1，其余为0，如若真实类别为第k类，则$y_k = 1, \sum_{j=1}^qy_j = 1$

2. 从单个样本的条件概率出发

对于单个样本$(x_{(i)}, y^{(i)})$, 其条件概率$P(y^{(i)} \mid x^{(i)})$ 可以拆解为：由于$y^{(i)}$是独热向量，只有真实类别k对应的$y_k^{(i)} = 1$, 其余的都是0，因此：

$$P(y^{(i)} \mid x^{(i)}) = \prod_{j=1}^q(\hat{y_j^{(i)}})^{y_j^{(i)}}$$

• 当$y_j^{(i)} = 1$，即真实类别为j时，项为$\hat{y_j^{(i)}}$
• 当$y_j^{(i)} = 0$，项为$\hat{y_j^{(i)}}^0 = 1$，不影响乘积结果

3. 引入负对数似然

为了用梯度下降等优化方法训练模型，我们需要将 “最大化似然（概率）” 转化为 “最小化损失”。对概率取负对数是常用手段（因为对数是单调递增函数，最大化概率等价于最大化对数概率；加负号后，最大化对数概率就等价于最小化负对数概率）

对$P(y^{(i)} \mid x^{(i)})$ 取负对数：$-logP(y^{(i)} \mid x^{(i)}) = -log(\prod_{j=1}^q(\hat{y_j^{(i)}})^{y_j^{(i)}})$

根据对数的性质，$log(ab) = log a + log b$，以及$log a^b = blog a$，上式可以展开为：

$$-\sum_{j=1}^qy_j^{(i)}log\hat{y_j^{(i)}}$$

4. 推广到损失函数的一般形式

如果忽略样本索引(i)，单个样本的损失函数可表示为：

$$l(\mathbf{y}, \mathbf{\hat{y}}) = - \sum_{j=1}^q y_jlog \hat{y_j}$$

损失函数 通常被称为交叉熵损失（cross-entropy loss）。 由于y是一个长度为q的独热编码向量， 所以除了一个项以外的所有项j都消失了。 由于所有$\hat{y_j}$都是预测的概率，所以它们的对数永远不会大于0。 因此，如果正确地预测实际标签，即如果实际标签$P(y \mid x) = 1$， 则损失函数不能进一步最小化。 注意，这往往是不可能的。 例如，数据集中可能存在标签噪声（比如某些样本可能被误标）， 或输入特征没有足够的信息来完美地对每一个样本分类。

softmax及其导数

将 $ \hat{y_j} = \frac{e^{o_j}}{\sum_k e^{o_k}}$带入损失函数中，可得：

$$\begin{aligned} l(\mathbf{y}, \hat{\mathbf{y}}) &= -\sum_{j=1}^{q} y_j \log \frac{\exp(o_j)}{\sum_{k=1}^{q} \exp(o_k)} \\ &= \sum_{j=1}^{q} y_j \log \sum_{k=1}^{q} \exp(o_k) - \sum_{j=1}^{q} y_j o_j \\ &= \log \sum_{k=1}^{q} \exp(o_k) - \sum_{j=1}^{q} y_j o_j. \end{aligned}$$

（因为只有一个$y_j = 1$求和后就剩下这一项的对数），从而得到最终简化形式,$\sum_{j=1}^{q} y_j \log \sum_{k=1}^{q} \exp(o_k) = \log \sum_{k=1}^{q} \exp(o_k)$。

考虑相对于任何未规范化的预测$o_j$的导数，我们得到：

$$\partial_{o_j} l(\mathbf{y}, \hat{\mathbf{y}}) = \frac{\exp(o_j)}{\sum_{k=1}^{q} \exp(o_k)} - y_j = \text{softmax}(\mathbf{o})_j - y_j$$