核函数

在有的数据样本中，样本本就不是线性可分的。
所以，我们就希望 找到一个非线性函数，将样本数据由低维映射到高维，从而使得样本在高维空间下，是可以线性可分的。

cover theonemy: 高维比低维更容易线性可分。

即通过非线性带来高维的转换

假设这个非线性的映射函数为$z = \phi(x)$z=ϕ(x)
则，映射之后，样本的特征由x变为z


但是
有的时候$\phi(x)$ϕ(x)维度非常高，甚至为无限维。导致$\phi(x_i)^T*\phi(x_j)$ϕ(xi​)T∗ϕ(xj​)的计算复杂度非常的高。

解决方法：使用核函数
因为观看模型，我们最终不是要得到$\phi(x)$ϕ(x)，我们只需得到$\phi(x_i)^T*\phi(x_j)$ϕ(xi​)T∗ϕ(xj​)计算结果即可。

即想个方法，直接得到$\phi(x_i)^T*\phi(x_j)$ϕ(xi​)T∗ϕ(xj​)的结果，而不要通过计算内积得到$\phi(x_i)^T*\phi(x_j)$ϕ(xi​)T∗ϕ(xj​)值。

因此，我们定义一个核函数$k(x,x')$k(x,x′)， 有

我们的目标就是需要找到满足这种条件的核函数。
比如，有

核函数正式定义：

正定核