机器学习9---线性回归、岭回归

线性回归

分类:目标值为离散型数据
回归:目标值为连续型数据

定义

线性模型试图学得一个通过属性(特征)的线性组合来进行预测的函数:
机器学习9---线性回归、岭回归
即,线性回归是通过一个或者多个自变量与因变量知间进行建模的回归分析。一元线性回归,涉及到的变量只有一个,多元线性回归,涉及到的变量两个或者两个以上。
机器学习9---线性回归、岭回归

损失函数(误差大小)

机器学习9---线性回归、岭回归
目的:寻找w,使得损失最小。

损失函数的两种优化方法

  1. 正规方程(不做要求)
    机器学习9---线性回归、岭回归
    缺点:当特征过于复杂,求解速度太慢;对于复杂的算法,不能使用正规方程求解。
    机器学习9---线性回归、岭回归

  2. 梯度下降
    机器学习9---线性回归、岭回归
    机器学习9---线性回归、岭回归
    机器学习9---线性回归、岭回归

正规方程与梯度下降对比