机器学习之监督学习-回归

一、机器学习算法分类

有监督学习：

• 分类
• 回归

半监督学习：

• 分类
• 回归

无监督学习：

• 聚类
• 降维

强化学习：

• 马尔可夫决策过程
• 动态规划

参考网址：http://qing0991.blog.51cto.com/1640542/1851981

---

二、线性回归

一个案例：对连续型数据做出的预测属于回归问题。例如人们买房的时候，在知道房屋面积 X1 和卧室的数量 X2 的情况下，怎么推测得知房屋的价格 Y 呢。通过一组 X1、X2、Y 的实际数据，我们可以得到一个这样的关系：

Y=θ0+θ1X1+θ2X2

类似这种问题很多，比如已知一个人的年龄 X1 和体重 X2 ，推测人的身高 Y 。这都是线性回归问题，本质是拟合多组数据到一个函数上。

• 参考网址：http://lib.****.net/article/machinelearning/2975

---

• 线性回归（linear regression）

  输入特征（input features）：x(i)
  输出（output）：y(i) （取值连续）
  模型参数（model parameters）：θ
  假设函数（hypothesis function）：
  

  hθ(x)=xTθ=∑ni=1xiθi
  损失函数（squared loss function to be minimized）：
  l(hθ(x),y)=(hθ(x)−y)2

  ---

注：输入的 y 和 h(x) 之间满足方程 y=h(x)+e。e 是误差项（噪音项），假设 e 是独立同分布 iid（independent and identity distribution）和均值为0，方差为某一定数的高斯分布。

---

• 线性回归的目标是求出线性回归方程，即求出线性回归方程中的回归系数 θ。

参考网址：http://blog.****.net/tangyudi/article/details/77711981

---

• 二维空间内的线性回归非常简单。它就是寻找一条最优直线来对数据进行拟合。根据最小二乘原理，确定的准则：寻找一条直线，使得函数值与模型预测值之差的平方和最小。
  
  
  

---

• 多维空间内的线性回归就是寻找一条最优超平面来对数据进行拟合。根据最小二乘原理，确定的准则：超平面与分布数据的误差最小。
  
  
  

---

• 求解方法：
  
  • 最大似然函数+最小二乘法
  • 梯度下降

参考网址：http://blog.****.net/tangyudi/article/details/77769045
参考网址： http://blog.****.net/titan0427/article/details/50365480

三、非线性回归

非线性回归（non-linear regression）：拟合曲线、非直线。有部分非线性回归可以转化为线性求解，这些模型称为广义线性模型，例如 logistic 回归。（非线性回归又称为逻辑回归，LR）

实际问题中，变量之间常常不是直线。解决方法通常是选择一条比较接近的曲线，通过变量替换把非线性方程加以线性化，然后按照线性回归的方法进行拟合。