简介
在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 
可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。（译者注： MNIST 是一个手写数字识别库，由NYU 的Yann LeCun 等人维护。
回想一下在 logistic 回归中，我们的训练集由 
个已标记的样本构成：
其中输入特征
。（我们对符号的约定如下：特征向量 
的维度为 
，其中 
对应截距项 。）
由于 logistic 回归是针对二分类问题的，因此类标记 
。假设函数(hypothesis function) 如下：
我们将训练模型参数 
，使其能够最小化代价函数 ：
在 softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标 可以取 
个不同的值（而不是 2 个）。因此，对于训练集 
，我们有 
。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 
个不同的类别。
对于给定的测试输入 ，我们想用假设函数针对每一个类别j估算出概率值 
。也就是说，我们想估计 的每一种分类结果出现的概率。因此，我们的假设函数将要输出一个 维的向量（向量元素的和为1）来表示这 个估计的概率值。 具体地说，我们的假设函数 
形式如下：
代价函数
现在我们来介绍 softmax 回归算法的代价函数。在下面的公式中，
是示性函数，其取值规则为：
Softmax回归模型参数化的特点
权重衰减
Softmax回归与Logistic 回归的关系
Softmax 回归 vs. k 个二元分类器
