[机器学习]谈谈对向量机和核函数的理解

1.在logistic回归中，如果预测y=1，我们希望hθ(x)接近1，θ的转置x远大于1
如果预测y=1时同理，我们希望hθ(x)接近0，θ的转置x远小于1

2 观察logistic回归的代价函数。

为了使代价函数最小，我们需要找到图像上纵坐标较小的点作为分界点。
图中找的是Z=1 ,Z=-1，两个点。
当Z>=1时，代价函数的值为0，在进行预测时，如果Y=1时，通过优化函数求θ，使θ的转置x的值会尽可能大于1
当Z<=-1时，代价函数的值为0，在进行预测时，如果Y=0时，通过优化函数求θ，使θ的转置x的值会尽可能小于-1
3.支持向量机的代价函数

cost1,cost2函数如上图，其中C为常数。通过优化函数去找θ来使代价函数得值最小。
4.支持向量机目的：
寻找到一个超平面使样本分成两类，并且间隔最大。而我们求得的w就代表着我们需要寻找的超平面的系数。
5.支持向量机得到的决策边界

可以看到当y=1时，由前面的代价函数可知Z要大于等于1.
当y=0时，Z要小于等于-1。
通过这个条件，进行分类。那么Z在图像上直观的来看究竟是什么呢？

Z其实是样本数据与参数θ的内积。
6.可以看出来，参数θ其实与决策边界相切（因为是用θ向量的点与样本点的内积来确定决策边界）。
明显的可以看到决策边界将左右两边分为不同的类别。

7.支持向量机得到的分类器是大间距的
从上图可只，如果p与小，及样本数据向量到θ向量的投影越小，θ的值越大，而在代价函数中。需要最小化θ。这时只能最大化p，来使θ最小。
8.核函数
核函数就是在计算训练数据集时取的特征量。

怎么选取一组特征值，让数据拟合的更好。
通常使用选取标记点的方法，并用高斯核函数。如果标记点与样本点相距很近那么核函数输出的值接近1.
如果标记点与样本点相距很远那么核函数输出的值接近0.

9.选取核函数的第二个参数分别为每个样本数据点

计算出f1,f2…fm。m=训练样本数
10.算法步骤
1.找出代价函数，设置一个边界值a。假设在单分类的情况下。当Z>=a,预测y=1,当Z<=a，预测y=0.
2.计算特征量。利用核函数。
3.最小化θ参数，使代价函数最小，同时得到大间距分类器
4.如果多分类情况下，将得到多组θ。将样本量与多组θ的转置相乘，选取最大的值的列值作为预测值。
11.注意事项
1参数C的选择
如果C过大，代价项与惩罚项的比例大，惩罚的少。过拟合，造成高偏差（稳定性差)
如果C过小，代价项与惩罚项的比例小，惩罚的多。欠拟合，造成高方差 (预测值不准)
2核函数参数的选择
如果核参数大，特征曲线光滑 ，过拟合，造成高偏差（稳定性差)
如果核参数小，特征曲线不光滑，欠拟合，造成高方差 (预测值不准)