台大李宏毅机器学习—学习笔记05
回归 ：假设现在有一些数据点，我们用一条直线对这些点进行拟合（这条直线称为最佳拟合直线），这个拟合的过程就叫做回归。我们想要的函数应该是: 能接受所有的输入然后预测出类别。
梯度下降法：这里需要一点点向量方面的数学基础
向量 = 值 + 方向
梯度 = 向量
梯度 = 梯度值 + 梯度方向
梯度下降法的思想：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。如果梯度记为 ▽ ，则函数 f(x, y) 的梯度由下式表示：
梯度下降如下图：
上图展示的，梯度上升算法到达每个点后都会重新估计移动的方向。从 P0 开始，计算完该点的梯度，函数就根据梯度移动到下一点 P1。在 P1 点，梯度再次被重新计算，并沿着新的梯度方向移动到 P2 。如此循环迭代，直到满足停止条件。迭代过程中，梯度算子总是保证我们能选取到最佳的移动方向。