机器学习（三）~感知机模型
机器学习（三）~感知机模型
1. 感知机模型
感知机是一种线性分类模型，属于判别模型。
2. 感知机学习策略
适用条件： 数据集具有线性可分性
- 当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡
假设空间： 定义在特征空间中所有线性分类器，即函数集合{f|f(x)=w·x+b}
损失函数：
- 损失函数的自然选择是误分类点个数，但由于这样定义的损失函数不是关于w,b的连续可导函数，不易优化，因此采用误分类点到超平面S的总距离度量
优化方法： 随机梯度下降法
- 注意：极小化过程中不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降
3. 感知机学习算法
1)算法原始形式
注：感知机学习算法由于采用不同的初值或选取误分类点顺序不同，解可以不同且有无穷多个
2)算法收敛性
【定理Novikoff】: 误分类次数是有上界的，经过有限次搜索可以找到完全分类的分离超平面。即当训练集线性可分时，感知机学习算法原始迭代形式是收敛的
(具体证明p42-p43)
3)算法对偶形式
设初始w,b均为0，则w,b的变化为η的倍数，设修改n次，则