分类

回归是用于预测某个值
分类是预测某个类别
他们都是最常用监督学习任务，本次主要对softmax回归这个对多类别进行预测分类的算法进行学习。

Softmax回归

Logistic回归模型可以直接推广到支持多类别分类，不必组合和训练多个二分类器,其称为Softmax回归或多类别Logistic回归。
当输入一个样本时，Softmax回归模型首先计算$k$k类的分数$s_k(x)$sk​(x),然后应用在Softmax函数中，估算出每类的概率。$s_k(x)=x^Tθ^k$sk​(x)=xTθkSoftmax函数：
$\hat{p_k} = σ(s(x))_k =exp (s_k(x)) /∑_{j=1}^K exp (s_j(x))$pk​^​=σ(s(x))k​=exp(sk​(x))/j=1∑K​exp(sj​(x))
softmax回归是一个单层神经网络
其运算则有$o_1=x_1w_{11}+x_1w_{12}+x_1w_{13}+x_1w_{14}$o1​=x1​w11​+x1​w12​+x1​w13​+x1​w14​$o_1=x_1w_{21}+x_1w_{22}+x_1w_{23}+x_1w_{24}$o1​=x1​w21​+x1​w22​+x1​w23​+x1​w24​$o_1=x_1w_{31}+x_1w_{32}+x_1w_{33}+x_1w_{34}$o1​=x1​w31​+x1​w32​+x1​w33​+x1​w34​$o_1=x_1w_{41}+x_1w_{42}+x_1w_{43}+x_1w_{44}$o1​=x1​w41​+x1​w42​+x1​w43​+x1​w44​

进行Softmax运算
其中$\hat{y_1}+\hat{y_2}+\hat{y_3}=1$y1​^​+y2​^​+y3​^​=1则$0<\hat{y_1},\hat{y_2},\hat{y_3}<1$0<y1​^​,y2​^​,y3​^​<1

Softmax 回归模型分类器预测结果：

交叉熵损失函数

假设训练数据集的样本数为nn，交叉熵损失函数定义为:

我们将交叉熵损失函数进行小批量梯度下降进而得到理想的模型