[机器学习] k近邻算法
算是机器学习中最简单的算法了，顾名思义是看k个近邻的类别，测试点的类别判断为k近邻里某一类点最多的，少数服从多数，要点摘录：
1. 关键参数：k值 && 距离计算方式 && 分类决策规则
2. k=1, 即只取最近点，容易过拟合，k取较大值，容易欠拟合。k值越小，模型越复杂。k ＝ 3 or 5 works well.
3. k近邻算法的一个实现：kd树（k－k维空间，二叉树），分两步：构造kd树－－搜索kd树。复杂度O(logN). 下图是一个kd树及对应二叉树：
4. 优点：方法简单易理解, 构建模型快。缺点：对稀疏矩阵或者特征维度比较高的情况下表现不好。
参考：
a. 《Introduction to Machine Learning with Python》
b. 《统计学习方法》
c. 十五分钟理解kd树 https://www.jianshu.com/p/ffe52db3e12b