学习理论

1、基本概念

2、PAC理论

3、VC维

4、极大似然，最大后验概率，贝叶斯估计

5、模型评估与评价指标

6、模型诊断调参

一、基本概念

机器学习三定义：

​ 1、计算机系统能够利用经验提高自身的性能

​ 2、学习就是一个基于经验数据的函数估计问题

​ 3、提取重要模式、趋势、并理解数据，从数据中学习

引用吾师的话：“三个定义各有侧重点，但都强调经验或数据的重要性”。一般而言，我们常用第二个定义，即基于经验数据的函数估计问题，形式化的给出了机器学习就是一个函数估计问题。但也强调了数据的重要，无数据巧妇难为无米之炊。所以，机器学习中必备三要素，数据、代码、论文。

机器学习常用的分类：

​ 1、监督：样本数据 有标签–分类，回归

​ 2、无监督：样本数据无标签–聚类、异常

​ 3、弱监督：样本数据的标签信息较“弱”–半监督、在线、强化

以上是机器学习最常用的一种基于任务的分类方式，而不同类型下面又有各种算法，有的有千丝万缕的关系，有的却迥然不同，所以很多时候我们不能直接评判那种模型好，只能说某种某些适合某种场景，也不存在一种模型包打天下（深度学习好像是个特例，当然深度学习下面已经衍生了各种算法）。正是因为我们很难从任务上对比模型，所以笔者就自己所了解的模型从模型的角度进行了对比，分析对比了模型之间的关系，以及适应场景。

一般而言，无论是监督，无监督，弱监督，都可以形式化如下过程：

其中，假设空间是我们假设的目标函数空间集（线性，非线性）以及选择目标函数的策略（经验风险，结构风险），通过常用的学习算法（梯度下降，EM算法，坐标下降算法）学习到的最优解即为目标空间，然后当新来数据，依据最优的模型进行预测（分类，回归，聚类）。另外，我们称训练数据为输入空间，一般会做一些特征工程的操作将数据从输入空间映射到特征空间（线性，非线性），然后通过目标函数映射到输出空间。