线性回归公式推导总结
1.预测函数：
2.代价函数：
- 假设每一个对象的预测值与真实值的误差为ε，即：
则由中心极限定理可知：
- 当样本数量很多时，可假设误差ε的分布符合均值μ=0，方差为σ^2的高斯分布，即：
-
现在的任务是在所有可能的θ中，寻找一个最适合的θ，使得误差ε呈高斯分布的可能性最大，则由似然函数有：
-
对等式两边同时取对数求极大似然，即：
- 综上，代价函数为：
三、梯度下降：
- 先给出梯度下降的结论：
- 如果能求出虚线框内的偏导数，则可以顺利完成梯度下降：
- 综上，梯度下降的公式为：
- 一般的，如果每更新一个参数，都要遍历一次全部数据的话，耗时太长，所有有了随机梯度下降，即每更新一个参数，只选用一个对象对应特征去更新（省时，但效果不如前者）：
四、正规方程：
- 使用梯度下降寻找最优参数比较耗时，所以当数据集的特征X符合：X的转置*X存在逆矩阵时，可采用正规方程迅速找出最优参数，即：
- 下面给出两种推导方法：
- 推导方法一：
- 推导方法二（比较取巧）：