线性分类

线性分类是用权重W去计算一张图片属于不同分类的分数。

下图中假设对猫的每个像素点提取出来，排成一列，记为X。用权重W去乘以X并且加上bias，最后得到的分数是对于这张图片属于哪个分类的预测。

线性分类的解释

线性分类在几何上的解释
当我们对权重W中的一行进行改变，那么对应的分类平面会在不同的方向进行旋转。

线性分类作为一个模版(template)进行匹配
另外一种解释是W的每一行都是一个类所对应的模版。通过使用内积(inner product)来获得图片和不同模版的对比，以找到“最好的“的分类结果。这种思路是线性分类在做模版的匹配，而这种模版是可以学习的。

Bias

在计算的时候分别记录W， b是有点费力的方法，可以将其结合起来变成一个矩阵。

Regularization作用

• 提高泛化能力
  这意味这不能有一个维度对于最终的分数有一个特别大的影响力。
  例如: x=[1,1,1,1],W1=[1,0,0,0],W2=[0.25,0.25,0.25,0.25].$x=[1,1,1,1],W_1=[1,0,0,0],W_2=[0.25,0.25,0.25,0.25].$
  WT1x=WT2x=1$W_1^{T}x=W_2^{T}x=1$，但是W1$W_1$的L2 penalty是1，W2$W_2$的L2 penalty是0.25。因此在加了正则项之后W2$W_2$的损失函数小于W1$W_1$。我们倾向于每个维度的权重相对均衡，而不是一个维度的权重相对过大。这将会防止过拟合。

SVM vs. Softmax

参考

http://cs231n.github.io/linear-classify/