机器学习 part3

机器学习与运用

第三天 机器学习与运用

• 回归算法 线性回归
• 分类算法 逻辑回归
• 聚类算法 kmeans

一 回归算法 线性回归

1.1 回归举例

什么是回归

• 期末考试成绩判定
  期末成绩：0.7×考试成绩+0.3×平时成绩
• 西瓜好坏判断
  西瓜好坏：0.2×色泽+0.5×根蒂+0.3×敲声

1.2 线性模型

试图学得一个通过属性的线性组合来进行预测的函数：
f(x)=w_1x_1+w_2x_2+…+w_d*x_d+b
w为权重，b称为偏置项，可以理解为：w_0×1

1.3 线性回归

定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合

一元线性回归：涉及到的变量只有一个
多元线性回归：涉及到的变量两个或两个以上

1.4 损失函数 线性回归性能评估

线性回归预测结果与真实值是有一定的误差，怎么评估这种误差（损失函数）
减少预测结果和真实值误差的两种方法

• 最新二乘法
  
  如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）
  
• 梯度下降
  
  正规方程与梯度下降的对比？
  当样本>100k 用梯度下降，<100 用正规方程
  

sklearn线性回归正规方程、梯度下降API

sklearn.linear_model.LinearRegression（小样本）
正规方程
sklearn.linear_model.SGDRegressor（大样本）
梯度下降

1.5 回归性能评估

sklearn回归评估API
sklearn.metrics.mean_squared_error