《统计学习方法》——第三章 K近邻法
- 本章讨论的是分类问题中的K近邻法
3.1 K近邻算法
算法简述：
- 当K取3时，绿色点属于红类；当K取5时，绿色点属于蓝类。
- 在右图中，距离度量采用欧氏距离。
3.2 K近邻模型
3.2.1 模型
- 没有类似于感知机模型的函数表示，理解理解。
- 若K=1，则为最近邻模型。测试实例在哪个训练实例点的单元（上图的方框）范围内就属于哪个类别。
3.2.2 距离度量
Lp距离
- p=1时， 称为曼哈顿距离。（1，0）和（0.5，0.5）到（0，0）的距离是一样的
- p=2时，称为欧式距离
- p=无穷，它是各个坐标距离的最大值。坐标里的最大值即为距离。
3.2.3 K值的选择
- 交叉验证！！！！ 用验证集定K值。
3.2.4 分类决策规则
- 取经验风险最小化的类别。
3.3 k 近邻法的实现：kd树
（用的时候再补）