机器学习中SVM的损失函数,向量积

SVM即支持向量机（Support Vector Machine, SVM） 是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane)。

简介

• SVM的损失函数
  1. 损失函数
  2. SVM中的损失函数
• 向量积

1.损失函数

定义: 是用来衡量一个预测器在对输入数据进行分类预测时的质量好坏。损失值越小，分类器的效果越好，越能反映输入数据与输出类别标签的关系;相反，损失值越大，我们需要花更多的精力来提升模型的准确率。

2.SVM中的损失函数

Hinge损失函数
Hinge损失主要用在SVM算法中，具体公式如下：

根据y_i也可以变化成

形状比较像合页，又称合页损失函数
y_i表示样本真实分类，y_i=-1表示负样本，y_i=1表示正样本，y_i表示预测的点到分离超平面的距离，当该距离大于1时，1与该距离做差为负值，此时损失为0，表示样本被被正确分类。反之，差值即为具体的损失。

SVM损失函数
SVM的损失函数就是合页损失函数加上正则化项：

总结:SVM的损失函数想要正确分类类别y_i的分数比不正确类别分数高，而且至少要高 Δ.如果不满足这点，就开始计算损失值。

向量积

向量 是线性代数中的基本概念，也是机器学习的基础数据表示形式,这是因为向量很适合在高维空间中表达和处理。在机器学习中会接触到的诸如投影、降维的概念，都是在向量的基础上做的

1.向量的内积（点乘）

定义
概括地说，向量的内积（点乘/数量积）。对两个向量执行点乘运算，就是对这两个向量对应位一一相乘之后求和的操作，如下所示，对于向量a和向量b：

a和b的点积公式为：

这里要求一维向量a和向量b的行列数相同。需要注意：点乘的结果是一个标量(数量而不是向量)

向量内积的几何意义

1.表征或计算两个向量之间的夹角
2.b向量在a向量方向上的投影

用公式表示:

**总结:**向量的内乘更多的运用在二维平面图形中,判断两个向量是否同一方向或正交(即垂直)等方向关系，具体对应关系为：

如果方向基本相同，夹角在0°到90°之间,正交，相互垂直
如果方向基本相反，夹角在90°到180°之间

2.向量的外积（叉乘）

定义
两个向量的外积，又叫叉乘、叉积向量积，其运算结果是一个向量而不是一个标量。并且两个向量的外积与这两个向量组成的坐标平面垂直。

定义：向量a与b的外积a×b是一个向量，其长度等于|a×b| = |a||b|sin∠(a,b)，其方向正交于a与b。并且，(a,b,a×b)构成右手系。
特别地，0×a = a×0 = 0.此外，对任意向量a，a×a=0。

对于向量a和向量b：

a和b 的外积公式:

令:

得到:

向量外积的几何意义

在三维几何中，向量a和向量b的外积结果是一个向量，有个更通俗易懂的叫法是法向量，该向量垂直于a和b向量构成的平面。

在二维空间中，外积还有另外一个几何意义就是：|a×b|在数值上等于由向量a和向量b构成的平行四边形的面积。

总结: 在3D图像中,外积的概念非常有用，可以通过两个向量的外积，生成第三个垂直于a，b的法向量，从而构建X、Y、Z坐标系.