01 神经网络和深度学习

第一周 深度学习概论

1.1 欢迎

一、学习内容

1. 神经网络和深度学习
2. 深度神经网络提升：超参调参，正则，优化
3. 结构化机器学习工程
4. 卷积神经网络
5. 自然语言处理：建立序列模型

1.2 什么是神经网络

一、房价预测

1. 样本分布示意图
   
2. 最简单的神经网络
   
3. ReLU函数
   
4. 一个复杂的神经网络的示意
   

1.3 用神经网络进行监督学习

一、监督学习

1. 监督学习举例
   (1) 房价预测（标准神经网络）
   (2) 在线广告（标准神经网络）
   (3) 图像识别（卷积神经网络）
   (4) 语音识别（序列数据）（循环神经网络）
   (5) 机器翻译（序列数据）（循环神经网络）
   (6) 自动驾驶（复杂混合神经网络）
2. 神经网络架构举例
   
3. 结构化数据和非结构化数据
   非结构化数据主要包括音频、图像和文本等类型的数据。

1.4 为什么深度学习会兴起

1. 表现性能和数据量关系图
   
   规模推动深度学习进程，其中规模指数据规模和神经网络规模。
2. 当数据规模不大时，各类方法性能排名不确定。只有当数据规模较大时，才能体现神经网络的有点。
3. ReLU和sigmoid**函数相比，前者可让梯度下降法更快，因为后者在正数下梯度近乎于0.
4. 流程
   

1.5 关于这门课

一、 本周课程内容

1. 引言
2. 神经网络编程基础
3. 单隐层神经网络
4. 深度神经网络

1.6 课程资源