统计学习方法（二）：感知机

感知机：判别模型、二分类线性模型
模型形式：
$f(x)=\operatorname{sign}(w \cdot x+b)$ ：
w和b为感知机模型参数，sign是符号函数。
要求：数据集线性可分
目的：求将数据集线性划分为两部分的超平面
经验损失函数：所有误分类的点到超平面距离之和 $L(w, b)$
极小化经验损失函数方法：梯度下降法
算法流程：
- 输入：训练数据集 $T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}$ ；学习率： $\eta$
- 输出：w、b以及感知机模型 $f(x)=\operatorname{sign}(w \cdot x+b)$
- 第一步：初始化w0和b0
- 第二步：在训练集中选择数据 $\left(x_{i}, y_{i}\right)$
- 第三步：如果 $y_{i}\left(w \cdot x_{i}+b\right) \leqslant 0$ ：
  $w \leftarrow w+\eta y_{i} x_{i}$
  $b \leftarrow b+\eta y_{i}$
  理解：
- 第四步：转至（2），直到没有误分类点。
算法具有收敛性，