机器学习 | 简单线性回归和最小二乘法
最近一段时间在学习机器学习算法，看了一些视频，打算整理下做成笔记，方便以后看。
线性回归：能够用一个直线比较精确地描述数据之间的关系，当出现新的数据的时候，能够预测出一个简单的值。
线性回归算法主要来解决回归问题，本身思想简单，容易实现，是许多强大的非线性墨香的基础，而且结果比较直观好解释。
目标：寻找一条直线，最大程度的“拟合”样本特征和样本输出标记之间的关系。
如图假设找到了最佳拟合直线方程：
对于每个样本点，根据直线方程，预测值为：
，真值为
为了和
的差距尽量小，考虑所有样本：
(求导方便）
下一步目标：使 尽可能小。因为
，带入式子中。
目标：找到a和b，使得尽可能小
这是一个典型的最小二乘法问题：最小化误差平方
最小二乘法的a、b推导过程：
其中，函数称为损失函数(loss function)。
对于大部分机器学习算法，都是通过分析问题，确定问题的损失函数。通过最优化损失函数，获得机器学习的模型。