2020李宏毅机器学习与深度学习——Deep Learning

Deep Learning的三个步骤：
1.define a set of function(神经网络)
2.goodness of function
3.pick the best function

STEP1.Function：Neural Network

不同的连接方式就会有不同的网络结构，怎么连接其实是我们手动去设计的。
最常见的连接方式是Fully Connect Feedforward Network：

一个神经网络可以看作一个function，如果我们知道这个程式里面的参数，我们就可以根据输入vector得到输出vector，如果我们只有网络结构而不知道具体的参数，相当于我们这里定义了一个function set。

模型如下：

Deep=很多Hidden Layers
我们通常用矩阵操作来运作神经网络：



我们可以吧Hidden Layers中间做的事情理解为特征转换，Output Layer实际就是对我们转换后比较好的feature进行分类。

Example：

我们需要去自己设计决定一个好的function set。layer的数目？每个layer需要多少个神经元？（经验&直觉）网络结构能否自动设计？能否自己设计网络连接方式？（可以，比如CNN）

SETP2.Goodness
举例：


Gradient Descent找目标参数：

这就是learning的过程。

为什么我们要做Deep Learning？ emmmm