Deep Learning（吴恩达）-深度学习概论
- 为什么要学习AI？
AI是一种新的跟电一样的能量。当电第一次被发明和使用时，被应用于无数的工业领域（交通，制造业，卫生医疗，通讯等）并做出了不可替代，不可估量的贡献。所以AI也将发生类似的化学反应，对社会造成一定的影响。
- 吴恩达Deep Learning课程你将学习哪些知识？
- 神经网络和深度学习
- 改善深层神经网络：超参数调试，正则化和优化
- 结构化机器学习项目
- 卷积神经网络
- 自然语言处理：建立序列模型
- 什么是神经网络？
由大脑工作机制联想产生的强大的学习算法。
Example1：单一神经网络
当用size of house 来预测price的时候，单一自变量来预测一个连续性因变量，普通统计方法是拟合一条回归直线，另外结合实际情况，price不可能小于0。所以普通方法就是得到一个分段函数的结果。这样的分段函数，可看做一个ReLU函数（Recti'f）
如果视其为一个神经网络问题，则可通过一个单一神经网络来表达。如右上图，input为x, output 为y，其中的神经元为一个ReLU代表一个ReLU函数。
Example 2: 多变量神经网络
房屋的价格是由多个变量影响的。各个变量之间隐含的关系，可以通过隐藏层的神经元来表达。如：房屋的size和number of bedrooms关系影响一个主成分family size。这些主成分也进一步对price存在影响。所以多元线性回归的过程，实际上可以化成一个神经网络的问题。多元线性回归考虑的是各种假设前提，选择不同的回归方法，而神经网络忽略了很多前提，只考虑网络结构的构建，而只需要input x和output y，中间的隐藏层的过程会有网络结构自动的产生。神经网络只考虑自变量对因变量的权重影响。
- 常见的神经网络为有监督学习
如上图所示，有监督学习在实际运用中，可分为：Standard NN（常用于结构化数据）; Convolutional NN(常用于图像数据); Recurrent NN（常用于序列数据）. 其中自动驾驶，需要多种数据常常是customized hybrid网络结构。图像，语音，文本等又常被称为非结构化数据。
- 为什么深度学习会兴起呢？
规模效应加速了深度学习的发展进程
如上图所示，当数据量较少的时候，无论多大的神经网络结构疑惑传统的机器学习方法（SVM，LogisticRegression，RandomForest等）获得模型performance是无法分别谁好谁坏，有时候这方法好，有时候另外的方法好。但当随着“有标签”的可训练的数据逐渐增加，传统的机器学习方法由于模型复杂度（我自己猜测的）问题获得的性能一般，较大的神经网络结构的模型在这时候往往取得较优的表现。
所以数据量的规模效应驱动了需要深度学习模型来获得更优的性能，而数据量大，大型的神经网络结构，意味着计算量大，为了推动产业或学术实践，计算性能的规模效应提高也推动了其发展。使得产业和学术实践，由Idea——code——Experiment能够快速迭代，推动产业和学术进步。
单单靠计算性能的提升也是不行的，当计算性能遇到瓶颈时，算法的优化又起到了一个至关重要的作用。如由sigmod函数转成ReLU函数就是一个降低计算量的例子。综上所述，数据，计算，算法的规模效应推动了深度学习的兴起和发展，使得让AI变得跟电一样跟智能社会分不开。