机器学习基石学习笔记二-继续讲PLA

接着上篇笔记，这里详细理解一下PLA

1. 先回顾下，现在令sign函数=0，在二维图中可以得到一条直线用于分割，现在就是要不断的修正这条线直到它能完美分割图上的两类点，也就是要不断的修正权重向量W来不断接近目标函数f.
2. $\vec W\cdot\vec X=0$W⋅X=0说明了W与X是垂直的，这样理解，W的维度数量与X维度数量是一致的，以二维为例，$w(w_1,w_2)$w(w1​,w2​)和$x(x_1,x_2)$x(x1​,x2​)就是图中的点，所有的线都过原点，现在把图的中心位置定为原点。假定w的一组取值落在$x_1$x1​，原点与$x_1$x1​点连线得到下图中的紫线，那么满足WX=0的所有$x(x_1,x_2)$x(x1​,x2​)就全部落在过原点且垂直于紫色线的直线上，下图未画出。

3. 一条线画错后修正的方法

$w_{t+1}\gets w_t+x$wt+1​←wt​+x
$w_{t+1}\gets w_t-x$wt+1​←wt​−x
引入y成为x的系数，合并为$w_{t+1}\gets w_t+yx$wt+1​←wt​+yx
从几何上可以看成，w向量要旋转成与一类点全部成锐角，与另一类点全部成钝角

知错能改，$w_t+x_9\to w_{t+1}$wt​+x9​→wt+1​

知错能改，$w_t-x_{14}\to w_{t+1}$wt​−x14​→wt+1​
注意红蓝分界线也就是h始终与w垂直
如此循环，直到最终完美分类

此时确定的w就是最终的$w_{pla}$wpla​