您的位置: 首页 > 文章 > 机器学习（周志华）读书笔记---第3章线性模型

机器学习（周志华）读书笔记---第3章线性模型

分类: 文章 • 2023-11-13 17:54:10

3.1 基本形式
线性模型试图学得一个通过属性的线性组合来进行预测的函数

机器学习（周志华）读书笔记---第3章线性模型

线性模型优点：
（1）形式简单，易于建模
（2）可解释性
非线性模型可以通过引入层次结构或高维映射而得

3.2 线性回归
线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记

机器学习（周志华）读书笔记---第3章线性模型

最小二乘法：令均方误差最小（欧氏距离），来确定w和b

机器学习（周志华）读书笔记---第3章线性模型

得到此时w和b的值（闭式解）

机器学习（周志华）读书笔记---第3章线性模型

对于多元线性回归，同样可用最小二乘估计

若可逆

机器学习（周志华）读书笔记---第3章线性模型

其中

机器学习（周志华）读书笔记---第3章线性模型

若不可逆，有多个解，通过正则化选择最佳的。

线性回归也可利用梯度下降法确定预测函数（看PPT）

机器学习（周志华）读书笔记---第3章线性模型

或者随机梯度下降：

机器学习（周志华）读书笔记---第3章线性模型

梯度下降与最小二乘对比：

机器学习（周志华）读书笔记---第3章线性模型

线性模型的变化：

机器学习（周志华）读书笔记---第3章线性模型

输出标记的对数作为线性模型毕竟的目标

利用联系函数构造广义线性模型

机器学习（周志华）读书笔记---第3章线性模型

3.3 对数几率回归

为了做分类任务，用对率函数（sigmoid）作为联系函数

机器学习（周志华）读书笔记---第3章线性模型

可将y视为后验概率，那么

机器学习（周志华）读书笔记---第3章线性模型

用极大似然来估计w与b

最大化对数似然：

机器学习（周志华）读书笔记---第3章线性模型

求3.4

机器学习（周志华）读书笔记---第3章线性模型

3.4 线性判别分析

LDA思想：设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类尽可能远离。

机器学习（周志华）读书笔记---第3章线性模型

LDA的目标：

机器学习（周志华）读书笔记---第3章线性模型

机器学习（周志华）读书笔记---第3章线性模型

机器学习（周志华）读书笔记---第3章线性模型

3.5 多分类学习

机器学习（周志华）读书笔记---第3章线性模型

多分类学习有多种方法：OV0(一对一)、OVR（一对其余）、MVM（多对多）

机器学习（周志华）读书笔记---第3章线性模型

机器学习（周志华）读书笔记---第3章线性模型

机器学习（周志华）读书笔记---第3章线性模型

机器学习（周志华）读书笔记---第3章线性模型