《机器学习（西瓜书）》——线性模型
1.线性回归
如果只有一个输入属性x，则，使用最小二乘法求解模型最优解即可。
如果有多个输入属性，，当X时满秩矩阵或者正定矩阵矩阵时，有解析解
.
对数线性回归：，形式线性回归，是输入空间到输出空间的非线性映射
2.对数几率回归——分类任务
对数几率函数：
用极大似然法估计w和b的值
3.线性判别分析LDA
给定训练样例集，将样例投影到一条直线上，使同类样例投影点尽可能靠近，异类样例投影点尽可能远离。
用拉格朗日对偶问题求解，具体过程不再赘述
当两类数据同先验、满足高斯分布且协方差相等时，达到最优分类。