任务标题：

学习损失函数(svm多分类损失函数与softmax）

任务简介：

1.先观看老师录制的第三讲导学视频，简单了解斯坦福CS231n中第三讲所讲内容
2.观看斯坦福CS231n第三讲课程（损失函数部分）
3.老师讲解的Hingeloss与Softmax视频

任务详解：

第三讲：损失函数和优化
7 损失函数
第三讲损失函数部分，主要介绍了 svm多分类损失函数与softmax损失函数，以例子详细说明如何使用他们来完成图像分类任务。指出了svm多分类损失函数存在多解的问题，讲解了使用正则项来解决多解问题。
学习的时候需要重点学习svm多分类损失函数与softmax的数学表达式，思考Hinge loss 与 Softmax的区别
2017版CS231n课程学习视频B站参考学习地址：P3 Loss Function and Optimization
https://www.bilibili.com/video/av13260183?p=3 损失函数部分

打卡内容：

1. Hinge Loss 表达式
损失函数是用来评估权重W的好坏。损失函数越小W值越优。


损失函数用来衡量W的好坏，优化方法用来获取最好的W。
2. 加正则的目的
不同的W可能会导致相同的分类，添加正则项可以获得最优的W。
3. Softmax 与交叉熵损失公式，分析交叉熵损失的最大值与最小值（softmax 求导要会）

softmax常常与交叉熵一起使用。右边公式的是某一类别的最大似然估计。
L0代表猫的损失值

天气X的期望值为0.804（概率x自信息）

计算出来的结果值与最大似然估计值一样。交叉熵损失的最大值为0，最小值为负无穷。

5. Hinge loss与Softmax的区别
可参考这篇文章
【深度学习技术】Softmax和SVM的区别与比较


可见分类效果并不好，因此我们需要通过构建损失函数来优化模型(此处为线性分类器)


Syi代表正确类别的得分，Sj代表其他类别的得分



w为两行说明是对该图片进行2分类，得到的分数s为两个类别的分数。
当L=0时，说明分类正确，即4，6为该正确类别的得分。这两个分数都远远超过另一个类别的分数，都是正确的分类，但是W不一样。
解决方法是添加一个正则项，我们要使损失函数L（W）最小时，即也要使R（W）最小，假设其选择2-范数，也就分别求两个权重矩阵的2-范数，保留2-范数最小的那个矩阵。