第五次培训(Part 1)——机器学习和深度学习的区别

一、机器学习&深度学习&AI

机器学习是一种实现人工智能的方法。简单来说是从数据中自动学习算法，并使用学习到的算法去进行预测。

深度学习是一种实现机器学习的方法。简单来说，深度学习是使用深度神经网络来实现机器学习的。这里的“深度”就是说神经网络中众多的层。

机器学习和深度学习的比较：机器学习算法从数据中学习，根据所学做出明智的决策。深度学习创建人工“神经网络”，可以自己学习和做出明智的决策，特别适用于变化多端的自然数据，具有非常优良的泛化能力和鲁棒性。

二、感知机和神经网络

1、感知机——神经网络最基本的模型

1、例子中由三个输入，引入权重（weight）等实数来表示各个输入对于输出的重要程度。

2、累加所有输入，在此步骤中，还要给总和添加偏移量（偏差bias）。一开始所有神经元被赋予随机权重和随机偏差，在每次学习之后，权重和偏差逐渐接近期望的输出。3、最后，神经元计算的结果变成输出信号（将结果馈送至**函数）。

举个实际的例子：

假设周末到了，你听说厦门将会举办一个音乐节。你非常喜欢音乐，你正在由于是否要去擦家这个节日。你需要权衡以下几个因素来做出决定：

1、天气好不好？（x1）

2、你的朋友会陪你去吗？（x2）

3、坐车方便吗？（x3）

比如，如果天气很好，那么另x1=1，若天气不好，则x1=0，依此类推。

假设你是音乐的*爱好者，即使你的朋友不陪你去或者交通也不方便的情况下，你也依然很想去。但是你很在意天气状况，那么你可以为天气赋予较大的权重来表明天气对你的决策影响较大。

通过调整权重和阈值的大小，我们可以得到不同的决策模型。阈值的降低意味着你参加这个节日的意愿越强。

单层感知机的局限性：仅对线性问题具有分类能力。

2、前馈神经网络——典型的深度学习模型

在这个4层网络中，最左边的是输入层，最右边的是输出层，网络中间的叫隐藏层，因为它既不是输入层，也不是输出层。

到目前为止，我们讨论的都是前馈神经网络（feedforward neural network），也叫做深度前馈网络（deep feedforward network）或者多层感知机（multilayer perctron ,MLP）,即把上一层的输出作为下一层的输入，信息总是向前传播。

三、迈向深度学习

为什么深度学习会兴起？

深度学习和神经网络背后的基本技术理念已经有好几十年了，为什么现在突然流行起来呢？

深度学习的兴起可以归功于数据规模，计算性能，以及计算算法的进步。

想要达到更好的性能：

1、需要训练一个非常大的神经网络，以发挥数据规模量巨大的优点。

2、需要更多的数据。

规模一直在推动深度学习的进步，规模不仅是神经网络的规模，还有数据的规模。这也并不是绝对的，因为最终数据会耗光，或者最终网络规模太大需要训练的时间太久。但是提升规模已经让我们在深度学习的世界中获得了大量进展。

3、算法

在深度学习崛起的初期，是数据和计算力规模的进展，但是渐渐地，尤其是近几年，也见证了算法方面的极大创新，但也是有许多算法的创新是为了让神经网络运行得更快。

算法创新的例子：

一个巨大的突破：

使用sigmoid函数时，在最低最高区域sigmoid函数的梯度会趋近于0，所以学习会变得非常缓慢。因为使用梯度下降法时，梯度接近于0时，参数会变化得很慢，学习也会变得很慢。

通过改变**函数：修正线性单元ReLU，它的梯度对于所有的正值的输入，输出都是1，因此梯度不会逐渐趋向于0。

，梯度接近于0时，参数会变化得很慢，学习也会变得很慢。

通过改变**函数：修正线性单元ReLU，它的梯度对于所有的正值的输入，输出都是1，因此梯度不会逐渐趋向于0。