感知机模型

感知机模型的定义

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。通过梯度下降法降低损失函数的大小，不断优化模型的参数。
定义：假设输入空间（特征空间）是***x***， 输出空间是y = +1，-1，输入X 表示是实例的特征向量，对应于输入空间的点，输出y则表示实例的类别。有输入空间到输出空间的如下函数：
f(x) = sign(wx + b)
称为感知机。
感知机是一种先行分类模型，属于判别模型。感知机模型的假设空间是特征空间中所有线性分类器的集合。即函数集合{f|f(x) = wx + b}
感知机模型的集合解释：
线性方程 wx + b = 0
对应于特征空间R中的一个超平面S，w是该超平面的法向量，b则是超平面的截距。
该超平面将特征空间分为两部分，位于两部分的实例点被分为正反两类。
感知机模型的学习策略：
初始化参数w = 0, b = 0, 定义损失函数，利用随机梯度下降法，不断更新参数w和参数b.
损失函数：感知机所采用的损失函数是误分类的点到超平面的距离，
其中||w||是w的L2范数（向量个元素的平方和然后求平方根）
其中，误分类点到超平面的距离是：

这样，假设超平面误分类的点的集合为M，那么所有的误分类的点到超平面的距离的总和是：

其中
相当于常数，可以不用考虑，则损失函数可以写成：

因此，感知机的学习过程就是最小化损失函数的过程

损失函数分别对w和b求偏导的结果如下：

随机选取一个误分类点，对w,b进行更新：

这样可以通过迭代使得L（w, b)不断减小，直至为0.

感知机的对偶形式

对偶形式的基本思想是：将w和b分别表示为x和y的线性组合，通过求解线性组合的组合系数而求得w和b。
最后学习到的w和b如下表示：

显然，对偶性是本质上是在学习ai。


这是最近对学习的感知机的内容的一个总结。虽然感知机是机器学习算法中一个最基本的算法，但也是许多算法的基础，包括LR，SVM都是在感知机算法的基础上衍生出来的。后期还会将不上感知机算法的代码实现过程。