Python深度学习

一.深度学习简介

机器学习和深度学习的核心问题在于有意义地变换数据，换句话说，在于学习输入数据的有用表示(representation)——这种表示可以让数据更接近预期输出。深度学习是机器学习的一个分支领域:它是从数据中学习表示的一种新方法，强调从连续的层(layer)中进行学习，这些层对应于越来越有意义的表示。可以将深度网络看作多级信息蒸馏操作:信息穿过连续的过滤器，其纯度越来越高(即对任务的帮助越来越大)。现代深度学习通常包含数十个甚至上百个连续的表示层，这些表示层全都是从训练数据中自动学习的。与此相反，其他机器学习方法的重点往往是仅仅学习一两层的数据表示，因此有时也被称为浅层学习(shallow learning)。

用三张图理解深度学习的工作原理：

神经网络中每层对输入数据所做的具体操作保存在该层的权重(weight)中，其本质是一串数字。用术语来说，每层实现的变换由其权重来参数化(parameterize，见图1-7)。权重有时也被称为该层的参数(parameter)。在这种语境下，学习的意思是为神经网络的所有层找到一组权重值，使得该网络能够将每个示例输入与其目标正确地一一对应。但重点来了:一个深度神经网络可能包含数千万个参数。找到所有参数的正确取值可能是一项非常艰巨的任务，特别是考虑到修改某个参数值将会影响其他所有参数的行为。

想要控制一件事物，首先需要能够观察它。想要控制神经网络的输出，就需要能够衡量该输出与预期值之间的距离。这是神经网络损失函数(loss function)的任务，该函数也叫目标函数(objective function)。损失函数的输入是网络预测值与真实目标值(即你希望网络输出的结果)，然后计算一个距离值，衡量该网络在这个示例上的效果好坏(见图 1-8)。

深度学习的基本技巧是利用这个距离值作为反馈信号来对权重值进行微调，以降低当前示例对应的损失值(见图 1-9)。这种调节由优化器(optimizer)来完成，它实现了所谓的反向传播(backpropagation)算法，这是深度学习的核心算法。

一开始对神经网络的权重随机赋值，因此网络只是实现了一系列随机变换。其输出结果自然也和理想值相去甚远，相应地，损失值也很高。但随着网络处理的示例越来越多，权重值也在向正确的方向逐步微调，损失值也逐渐降低。这就是训练循环(training loop)，将这种循环重复足够多的次数(通常对数千个示例进行数十次迭代)，得到的权重值可以使损失函数最小。具有最小损失的网络，其输出值与目标值尽可能地接近，这就是训练好的网络。再次强调，这是一个简单的机制，一旦具有足够大的规模，将会产生魔法般的效果。

 

深度学习发展得如此迅速，主要原因在于它在很多问题上都表现出更好的性能。但这并不是唯一的原因。深度学习还让解决问题变得更加简单，因为它将特征工程完全自动化，而这曾经是机器学习工作流程中最关键的一步。

深度学习的变革性在于，模型可以在同一时间共同学习所有表示层，而不是依次连续学习(这被称为贪婪学习)。通过共同的特征学习，一旦模型修改某个内部特征，所有依赖于该特征的其他特征都会相应地自动调节适应，无须人为干预。一切都由单一反馈信号来监督:模型中的每一处变化都是为了最终目标服务。这种方法比贪婪地叠加浅层模型更加强大，因为它可以通过将复杂、 抽象的表示拆解为很多个中间空间(层)来学习这些表示，每个中间空间仅仅是前一个空间的简单变换。

深度学习从数据中进行学习时有两个基本特征:第一，通过渐进的、逐层的方式形成越来越复杂的表示;第二，对中间这些渐进的表示共同进行学习，每一层的变化都需要同时考虑上下两层的需要。总之，这两个特征使得深度学习比先前的机器学习方法更加成功。

二.数学基础

MNIST 数据集：手写数字的灰度图像(28 像素×28 像素)，包含 60 000 张训练图像和 10 000 张测试图像

导入：from keras.datasets import mnist