前言：这是我第二次看蓝皮书，这一次看书的重点不在只局限于模型的使用，而更专注于模型的推导。对于一些不是很重要或者是常识性的的东西，本文将以思维导图的形式给出。另外，在学习过程中花书与此书是相辅相成的，一些已经证明过的会直接引用花书的推导（有链接的）。

 

---

一、知识梳理

首先对本章的所讲内容进行梳理，思维导图中并非所有的知识点都会讲解，自己能看懂的和不重要的就不写了。本文的知识梳理与书中章节顺序不同，主要是按自己的理解来，不喜勿喷。

 

 二、实现统计学习方法的步骤

1. 得到一个有限的训练数据集合

2. 确定包含所以可能的模型的假设空间，即学习模型的集合（不是单个模型，单个具体模型是解）

3. 确定模型选择的准则—策略

4. 实现求解最优模型的算法—算法

5. 通过学习方法选择最优模型

6. 利用学习的最优模型对新数据进行预测或分析

 

三、 有监督学习的基本形式（有监督有标签指导、无监督无标签指导）

注：图中的f与p有上标代表具体的决策与条件函数并不是模型的假设空间，学习系统其实更接近书中的模型假设空间的意思。

 

四、按功能分类（有监督） 

	输入变量	输出变量
分类问题	离散或连续	离散
标注问题	观测序列	标记序列或状态序列
回归问题	连续	连续

 

五、模型评估与模型选择 

1、模型评估

当给定损失函数时，基于损失函数的学习方法评估标准：模型的训练误差、模型的预测误差。公式蓝皮P10-1.14~1.15。当损失函数变为0-1函数时，测试误差变为误差率，并由此得知模型在测试集上的准确率。训练误差主要衡量问题是不是一个容易学习的问题（意义不大），测试误差反映学习方法对未知数据的预测能力。

2、模型选择

1）选择标准

期望风险函数：它是理论上模型关于联合分布P(X,Y)的平均意义下的损失，称为风险函数。但是这个函数有个问题—就是你没有先验求不了。

 

未完待续......

 

 

（1）极大似然估计 

第一步：似然函数：

第二步：对数似然函数：

第三步：利用似然函数梯度求解参数

           同理 

 （2）贝叶斯估计

 第一步：代入贝叶斯公式

 第二步：模型目标为（注：分母为固定值因此不影响求极值；因为相互独立，所以分子可以写成连乘积的形式。

 第三步：在此处我取了对数（理论上是不用取的，我用对数主要是因为好算，就是懒。哈哈哈）

 第四步：代入各自的分布

第五步：求解（与极大似然的结果近似，不写具体步骤啦）