常见机器学习模型的比较
一、Linear Regression
1.中文解释：线性回归
2.模型联系：——
3.模型框架：对于能够以f(xi) = wTxi + b表达的线性模型，线性回归就是试图学得恰当得向量w和标量b，使得f(xi)
≈ yi，其中yi是真实输出。那只需要设计一个衡量f(xi)与yi的差异函数E(xi，yi，w，b)，机器学习中称为代价函数或损失函数，然后使该对函数求得最小值，对应的w和b便是最终拟合的参数，这个过程称为线性回归模型的参数估计。
4.代价函数：通常使用均方误差来计算代价，几何意义对应欧氏距离，结合上述的参数估计过程，可表达如下式：
5.训练算法：对于代价函数分别对w和b求导，再令导数为0，求得w和b最优解的闭式解。
二、Logistic Regression
1.中文解释：其实应该叫logit回归比较贴近其模型思想，也就是对数几率回归，虽然名字是回归但实际是分类方法。
2.模型联系：基于线性回归模型的预测结果来拟合真实标记的对数几率
3.模型简介：基于前面的线性回归的预测值f(xi)，这是一个实数，对于分类任务来说，需要对连续输出转变成0/1值，理想情况下可以使用单位阶跃函数，如下式：
其中z =
wTx + b，但实际应用中并没有采用单位阶跃函数，因为它不连续，不可微，因此常用对数几率函数(属于sigmoid的一种）来替代它，如下式：
式子（2）和式子（3）的函数图像如下图：
三、Softmax Regression
1.中文解释：柔性最大化回归
2.
3.模型思想：求出各个类的概率，并以概率值最大的类作为预测值，使用下式来计算类概率：
其中x是第i个类softmax的输入值（一个标量），yi（i=1，2，3....)分别代表每个类的概率值，取最大的yi所属的类作为预测值。
这个公式其实可以简化为:
目的就是归一化，使每个类的计算结果限制在（0，1）内 。
举例说明，假设做数字分类任务，则模型输出有10个（数字0-9的概率），假设图像尺寸为10*10，则输入x就是100x1的向量，10个数字（输出）对应10组权重，每组权重都是100x1的向量（与x向量每个元素逐一对应），则权重可以用10x100的矩阵来表示，由W，x，b的线性组合可以运算到10x1的feature向量，如下式，softmax函数需要对feature向量计算出数字的概率向量y10,1，取其中最大的元素对应的类作为输出。
4.训练算法：对cross_entropy进行随机梯度下降的优化
四、关系图
参考文献：
1.周志华. 机器学习 : = Machine learning[M]. 清华大学出版社, 2016.
2.李航. 统计学习 清华大学出版社.2012
3.黄文坚，唐源，TensorFlow实战.电子工业出版社,2017
翻译中...