ML、RL、DM、DL初步理解

2020年2月15日16:24:51
今日任务：
弄明白以下四个内容的特点、方向、内容以及关系：

机器学习（ML）
深度学习（DL）
强化学习（RL）
数据挖掘（DM）

ML

机器学习：对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序在从经验E学习。
维基百科解释的很详细！
机器学习算法基于样本数据（称为“ 训练数据 ”）建立数学模型，以便进行预测或决策，而无需明确地编程以执行任务。

机器学习是人工智能的一个部分，很广泛的用于应用中，如邮件检测和计算机视觉等。与统计学很相似，用计算机来做一些预测任务。

机器学习(Machine Learning)是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构市值不断改善自身的性能的学科，简单地说，机器学习就是通过算法，使得机器能从大量的历史数据中学习规律，从而对新的样本做智能识别或预测未来。

机器学习在图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等很多方面的发展还存在着没有良好解决的问题。

传统的模式识别方法：通过传感器获取数据，然后经过预处理、特征提取、特征选择、再到推理、预测或识别。

常见的算法有：决策树、朴素贝叶斯、支持向量机、随机森林、人工神经网络、boosting和Bagging算法、关联规则算法、EM（期望最大化）算法、深度学习。

ML算法竞赛简单流程
机器学习：监督学习、非监督学习和强化学习。

DL

深度学习是机器学习算法的一个子类别，它使用多层神经网络来学习输入和输出之间的复杂关系。神经网络中的层次越多，其复杂性就越高。【可以简单理解为神经网络的发展】
以下内容来源

浅层学习和深度学习

20世纪80年代末期，用于人工神经网络的反向传播算法(也叫Back Propagation算法或者BP算法)的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机(Multi-layer Perceptron)，但实际是种只含有一层隐层节点的浅层模型。

20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机(SVM，Support Vector Machines)、 Boosting、最大熵方法(如LR，Logistic Regression)等。这些模型的结构基本上可以看成带有一层隐层节点(如SVM、Boosting)，或没有隐层节点(如LR)。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期浅层人工神经网络反而相对沉寂。

深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。

区别于传统的浅层学习，深度学习的不同在于：1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点;2)明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。

DL和传统的神经网络之间的异同：

二者的相同在于DL采用了神经网络相似的分层结构，系统由包括输入层、隐层(多层)、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic regression模型；这种分层结构，是比较接近人类大脑的结构的。 ML、RL、DM、DL初步理解

深度学习的训练过程

$\star$ 使用自下上升非监督学习(就是从底层开始，一层一层的往顶层训练)

采用无label数据(有标定数据也可)分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分(这个过程可以看作是feature learning过程)：

具体的，先用无标定数据训练第一层，训练时先学习第一层的参数(这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层)，由于模型capacity的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。

$\star$ 自顶向下的监督学习(就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调)

基于第一步得到的各层参数进一步fine-tune整个多层模型的参数，这一步是一个有监督训练过程;第一步类似神经网络的随机初始化初值过程，由于DL的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果;所以deep learning效果好很大程度上归功于第一步的feature learning过程。

CNNs卷积神经网络

卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

卷积神经网络的网络结构

卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。
ML、RL、DM、DL初步理解卷积神经网络的概念示范：输入图像通过和三个可训练的滤波器和可加偏置进行卷积，滤波过程如上图，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素值被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。

一般地，C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来;S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的**函数，使得特征映射具有位移不变性。

此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数，降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层(C-层)都紧跟着一个用来求局部平均与二次提取的计算层(S-层)，这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。

卷积神经网络训练过程

神经网络用于模式识别的主流是有指导学习网络，无指导学习网络更多的是用于聚类分析。对于有指导的模式识别，由于任一样本的类别是已知的，样本在空间的分布不再是依据其自然分布倾向来划分，而是要根据同类样本在空间的分布及不同类样本之间的分离程度找一种适当的空间划分方法，或者找到一个分类边界，使得不同类样本分别位于不同的区域内。这就需要一个长时间且复杂的学习过程，不断调整用以划分样本空间的分类边界的位置，使尽可能少的样本被划分到非同类区域中。

卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积网络执行的是有导师训练，所以其样本集是由形如：(输入向量，理想输出向量)的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟的系统的实际“运行”结果。它们可以是从实际运行系统中采集来的。在开始训练前，所有的权都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败;“不同”用来保证网络可以正常地学习。实际上，如果用相同的数去初始化权矩阵，则网络无能力学习。

训练算法与传统的BP算法差不多。主要包括4步，这4步被分为两个阶段：

第一阶段，向前传播阶段：
a)从样本集中取一个样本(X,Yp)，将X输入网络;
b)计算相应的实际输出Op。
在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算(实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果)：Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))

第二阶段，向后传播阶段
a)算实际输出Op与相应的理想输出Yp的差;
b)按极小化误差的方法反向传播调整权矩阵。

卷积网络较一般神经网络在图像处理方面有如下优点：

a)输入图像和网络的拓扑结构能很好的吻合;
b)特征提取和模式分类同时进行，并同时在训练中产生;
c)权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强

DM

数据挖掘也是机器学习的一个研究领域，通过无监督学习进行探索性数据分析。

机器学习和数据挖掘通常采用相同的方法并且有很多重叠之处，但是虽然机器学习侧重于预测，但基于从训练数据中获知的已知属性，而数据挖掘则侧重于发现数据中（以前）的未知属性（这是知识发现的分析步骤在数据库中）。数据挖掘使用许多机器学习方法，但目标不同。另一方面，机器学习还采用数据挖掘方法作为“无监督学习”或预处理步骤，以提高学习者的准确性。

RL

强化学习是机器学习的一个类别。强化学习使用机器的个人历史和经验来做出决定。强化学习的经典应用是玩游戏。与监督和非监督学习不同，强化学习不涉及提供“正确的”答案或输出。相反，它只关注性能。