机器学习--线性回归
线性回归属于回归问题,将线性回归大体分为以下几个类别:
- 一元线性回归:
y=wx+b
- 多元线性回归
y=w(0)+w(1)x(1)+w(2)x(2)
- 带正则项的线性回归
- 带核函数的线性回归:
回归模型:
学习模型(训练):已知数据(x,y)学习模型f
使用模型(预测):已知数据的输入x,带入f求得y
模型介绍:
如果输出为连续型变量就是回归
案例介绍:根基身高预测体重。
回归和分类有什么区别呢?
不管模型有多复杂,输入是连续还是离散变量只要输出为连续型变量就是回归,而分类输出的是离散型变量。
线性回归有哪些形式呢?
这里的W^T代表W的转至。
模型的参数需要为一次形式,则为线性,输入可以为高次,否则就不是线性回归。
一元线性回归:
那么如果没有解,该怎么解决呢?
------------------------------------------------------------------------------------------------------------
既然无解,我们需要妥协一下,拟合的直线离所有点误差最小。
此时把原来的解方程组的问题转化为一个目标函数优化问题:
目标函数:
那么如何求一个函数的最小值呢?
如果一个函数为凸函数,那么函数的极小值就是唯一最小值。
解析解法:对函数求导取零。
数值解法:根据梯度下降方法迭代,直到导数为零。
那么如何根据对一元线性回归的结果进行评估呢?
多元线性回归:
刚才我们看到的问题,输入只是单一的特征,但这种简单的特征无法反应数据的分布,所以需要更加丰富的特征。
例如: {身高,性别}预测体重
当数据输入为多个特征,此时为多元线性回归。
多元线性回归实例:
时间序列:
自回归案例:
、
代码后续会上传到github上面。。。