1.2 【干货】人工智能实验室主任吴恩达：用神经网络进行监督

【干货】人工智能实验室主任吴恩达：用神经网络进行监督

本文选自人工智能实验室主任吴恩达于2017年8月29日在网易云课堂上所讲授的名为《神经网络和深度学习》的课程。

图文版回顾见下文：

一、监督学习

神经网络有时候媒体炒作得很厉害，考虑到它们的使用效果，有些说法还是比较靠谱。事实上，到目前为止，几乎所有有神经网络创造的经济价值，都基于其中一种机器学习，我们称之为监督学习。

那是什么意思呢？我们来看一些例子。

在监督学习中输入x，习得一个函数，映射到输出y。比如我们之前看到的应用于房价预测的例子，输入房屋的一些特征，就能输出或者预测价格y。

下面是一些其他例子。这些例子中神经网络效果拔群。很可能，今天通过深度学习获利最大的就是在线广告。

这也许不是最鼓舞人心的，但真的很赚钱。给网站输入广告信息，网站会考虑是否给你看这个广告。有时候还需要输入一些用户信息。神经网络在预测你是否会点击这个广告方面，已经表现得很好。通过向用户展示最有可能点开的广告，这就是神经网络在很多家公司赚取无法想象的高额利润的应用方式。因为有了这种向你展示最有可能点击开的广告的能力，直接影响到了不少大型线上广告公司的收入。

过去几年里，计算机视觉也有了很大进展。这要感谢深度学习。输入一个图像，然后想输入一个指数，可以是从1到1000来表明这张照片，是1000个不同的图像中的每一个，可以用来给照片大标签。

二、深度学习的进展

深度学习最近在语音识别方面的进展，也是非常令人兴奋的。你可以将音频片段输入神经网络，它可以输出文本。

机器翻译也有了很大进步。这得感谢深度学习，让你有一个神经网络能实现。输入英文句子，它直接输出一个中文句子。

在无人驾驶技术中，你输入一幅画像，  汽车前方的一个快照，还有一些雷达信息。基于这个训练过的神经网络，能够告诉你路上其他汽车的位置，这是无人驾驶系统的关键组件。

三、神经网络的案列

神经网络创造这么多价值的案例中，你要机智地选择x和y，才能解决特定的问题。然后把这个监督学习过的组件，嵌入到更大型的系统中，比如无人驾驶。

可以看出稍微不同的神经网络，应用到不同的地方，也行之有效、

比如，应用到房地产上。我们上节课讲过，我们用了通用标准的神经网络架构。对于房地产和在线广告，用的都是标准的神经网络。正如我们之前见过的，图像领域里，我们经常应用的是卷积神经网络，通常缩写为CNN（convolutional neural betworks）。

对于序列数据，例如，音频中含有时间成分。音频是随着时间播放的，所以音频很自然地表示为一维时间序列。

对于序列数据，经常使用RNN“循环神经网络”（recurrent neural network），语言，英语和汉语，字母或单词，都是逐个出现的。所以，语言最自然的表达方式也是序列数据。

更复杂的RNNs经常会用于这些应用。

对于更复杂的应用，比如无人驾驶，你有一张图片可能需要CNN“卷积神经网络结构”架构去处理，雷达信息会更不一样。你需要一些更复杂的混合神经网络结构。

所以，为了更具体地说明标准的CNN和RNN结构是什么，在文献中，你可能见过这样的图片，这是一个标准的神经网络。在后续的课程，我们会去了解这幅画的含义和如何实现它。

卷积神经网络通常用于图像数据。你可能也会看到这样的图片，后续的课程也会实现它。循环神经网络非常适合一维序列数据，其中包含时间成分。

四、结构化数据和非结构化数据

你可能也听说过，机器学习被应用于结构化数据和非结构化数据。

下面是这些术语的含义：

结构化数据是数据的数据库。例如，在房价预测中，你可能有一个数据库或者数据列，告诉你房间的大小和卧室数量，这就是结构化数据。在预测用户是否会点击广告的例子中，你可能会有用户信息，比如年龄，还有广告信息，以及你要预测的标签y。这就是结构化数据。意味着每个特征，比如说房屋大小、卧室数量、用户的年龄，都有着清晰的定义。

相反，非结构化数据指的是，比如音频、原始音频、图像、你想要识别图像或文本中的内容。这里的特征，可能是图像中的像素值或者是文本中的单个单词。

从历史角度看，非结构化数据与结构化数据比较，让计算机理解起来更难。但人类进化到现在，很擅长理解音频信号和图像。文本是一个更近代的发明，但人们真的很擅长解读非结构化数据。

神经网络兴起过程中，最令人兴奋的事情之一就是多亏了深度学习，多亏了神经网络。

计算机现在能更好地解释非结构化数据。和几年前对比的话，这给我们创造了很多令人兴奋的应用机会，语音识别、图像识别、自然语音、文字处理。

现在能做的事情，比两三年前要丰富多了。

我认为因为人们生来就有能力，理解非结构化数据。你可能知道神经网络在结构化数据上的成功，尤其是媒体。当神经网络识别了一只猫时，那真的很酷。

我们都知道那意味着什么。神经网络在很多短期经济价值的创造是基于结构化数据的，比如更好的广告系统、更好的获利建议。有更好的能力去处理很多公司拥有的海量数据库，并用这些数据准确预测未来趋势。

在这门课中，我们会学到很多技巧，可以应用到结构化数据，也可以应用到非结构化数据。为了更清楚地解释算法原理，我们会多用非结构化数据的例子。

但当你自己的团队评估了各种神经网络的应用之后，希望你的算法能够同时学习结构化和非结构化数据。

神经网络彻底改变了监督学习，正创造者巨大的经济价值。其实，基本的神经网络背后的技术理念，大部分都不是新概念，有些甚至有几十年的历史了。

那么，为什么它们现在才开始流行，才行之有效呢？下一课中，我们将讨论为什么是最近神经网络才成为你可能使用的强大工具。

文：杜佳豪