机器学习线性回归

1.线性回归的原理
进入一家房产网，可以看到房价、面积、厅室呈现以下数据：

我们可以将价格和面积、厅室数量的关系习得为f(x)=θ0+θ1x1+θ2x2f(x)=θ0+θ1x1+θ2x2，使得f(x)≈yf(x)≈y，这就是一个直观的线性回归的样式。
2.线性回归的一般形式：
有数据集{(x1,y1),(x2,y2),…,(xn,yn)}{(x1,y1),(x2,y2),…,(xn,yn)},其中,xi=(xi1;xi2;xi3;…;xid),yi∈Rxi=(xi1;xi2;xi3;…;xid),yi∈R
其中n表示变量的数量，d表示每个变量的维度。
可以用以下函数来描述y和x之间的关系：
f(x)=θ0+θ1x1+θ2x2+…+θdxd。
均方误差是回归中确定θ值的常用的性能度量，即：
3.线性回归损失函数、代价函数、目标函数
损失函数(Loss Function)：度量单样本预测的错误程度，损失函数值越小，模型就越好。
代价函数(Cost Function)：度量全部样本集的平均误差。
目标函数(Object Function)：代价函数和正则化函数，最终要优化的函数。
4.线性回归的优化方法
梯度下降法
设定初始参数θθ,不断迭代，使得J(θ)J(θ)最小化：

当J为凸函数时，梯度下降法相当于让参数θθ不断向J的最小值位置移动。
梯度下降法的缺陷：如果函数为非凸函数，有可能找到的并非全局最优值，而是局部最优值。
最小二乘法矩阵求解
牛顿法
拟牛顿法