一. 类别

    1. 有监督学习

        包括分类，回归等问题模型。

        简单来说，在有监督学习中， 所有的数据都会被 打上标签，基于已知的数据集， 进行训练，然后使用训练好的模型去预测未知的数据集的 结果。

     2. 无监督学习

         包括聚类，关联规则等问题模型。

         无监督学习中的数据是没有标签的，只能通过一些计算去学习 一些未知的知识。比如聚类算法中依靠计算距离最近的点，将其分为自己那一类。这个过程是自己学的，数据本身并没有告诉他每一个点属于哪一个类别。 

 

二. 线性回归算法

      如下图所示，我们以下图的场景进行举例

     我们想知道额度（y）与工资（theta1）和年龄（theta2）之间究竟有何线性关系，首先我们要列出线性方程。这个读过高中应该都不难。

     其中theta0是一个偏向，类似于y = wx+b中的b

     那么，我们 想要通过线性回归去不断求出最好的theta值，我们需要构建它的损失函数

     线性模型下1个二维样本点的MSE损失为（以y=wx+b为例，没什么差别，就是少了个参数，方便一点）：

                                              

     线性模型下N个 二维样本点的MSE损失为：

                                                 

     其中，wx+b 是我们所定的线性回归方程，这个方程的w和b的值是需要不断去更新的，具体如何更新接下来我们会说。我想说，真实值y我们是知道的，那么我们的w和b怎么样是最好的呢？是wx+b的值和真实的y值之间的差要尽可能小，这样证明我们拟合的曲线是正确的。所以现在就变成了求f(w,b) = wx+b - y这个方程的最小值。（x,y）值我们都是有的，这就是线性回归的本质思想。关键就在于，损失函数f出来之后，你要立马反应出来这是一个关于w,b的函数，而不是x,y的函数。

     我们更新w,b参数的方式采用的就是机器学习中经典的梯度下降算法。将在下一篇 博客中给出。