主要包括输入层、隐藏层和输出层。神经网络的模型可以解决非线性问题。

计算网络的参数通过反向传播；如果每一层隐藏层都只有wx+b的运算，则多层累加变为w1*(w2*(w3*x))+a = W*x +a,失去了非线性能力。故每一层后面会加上一个**层。

实例：学习XOR

单个线性函数无法解决XOR的问题，但是多个线性函数的组合，每个线性函数理解为一个神经元，就可以表示XOR运算。

这里提到了RELU**函数g(x) = max{0,x}，也叫整流线性单元，是大多前馈神经网络的默认**函数。主要优势运算简单。后面有专门章节介绍和比较各个**函数。

基于梯度的学习：

代价函数：和其他机器学习使用方式类似。

使用最大似然学习条件分布：

学习条件统计量：

输出单元：

主要就是sigmoid 和softmax两种,都存在饱和的问题，前者在输入过大和过小时，后者在有某个预测特别大时。

sigmoid：主要用于二分类，或输出概率。 这边提到softplus:ζ(x)=ln(1+exp(x))

softmax：

输出每个类可能的概率。多分类以及预测自然语言处理中预测下一句话之类时可以用到。但是如果可能性太多的话，运算过大，可以通过树状结构减少运算。

隐藏单元：

隐藏单元主要包括仿射变换 wx+b 和**函数g(x)，重点研究**函数：

下面介绍几种常见**函数：

ReLU族

ReLU：整流线性单元 g(z0) = max(0,z)，最常用。

优势：计算方便，大于0部分不存在梯度饱和。

计算时通常将仿射变换的b初始设置一个较小的正数，如0.1，这样开始时大多数样本都可以通过。

缺点：无法学习小于0的样本。

 

针对上述缺点出现了很多变种：

LeakReLU:

这样可以学习小于0的部分。

PReLU:同LeakReLU，但是a参数是根据数据确定的，而非事先指定

学习方式如下：

RReLU:

RReLU:训练时是波动的，测试时就固定下来了。

ELU:

SReLU:

**后样本均值为0，方差为1，相当于自归一化，效果比batchnormlize好。

参考别人的一幅图再。

补充一个softplus:

ζ(x)=ln(1+exp(x)):

softplus相当于平滑版的ReLU。

再回忆一下这些**函数的性质：

Sigmoid族

在整流线性单元之前，主要使用Sigmoid**函数和tanh**函数

Sigmoid:

将实数压缩到0到1，适用于输出概率

导数

tanh:g(z) = tanh(z) = 2(2z)-1

将实数压缩到-1到1

导数

sigmoid函数容易饱和，不适合前馈神经网络中隐藏层的**。但是在诸如LSTM的网络中有用。

二分类问题，一般隐藏层用tanh。因为其均值为0，保持整个网络始终输入0均值的数据，较易优化。

 

 

其他都不常用了。也没有什么优势就不介绍了。

 

架构设计：

理论上深度学习网络可以近似实数空间中的所有函数，只要神经元足够多。

深度学习之所以优越，就是因为同等的表达能力，深层网络需要的神经元小于浅层网络且相对不容易过拟合。

深度网络不单单是一层层的依次链接，后面章节会有介绍多种变种的深度学习网络。

反向传播和其他的微分算法：

从x到y时前向传播，产生一个标量代价函数：

反过来从y计算梯度调整参数称为反向传播。

通过计算图来看数据流向：

主要通过链式法则计算。

这里花书的略深奥了，看了bilibili的一篇视频很不错，链接如下：

https://www.bilibili.com/video/av16577449?from=search&seid=6361052292273718140

大概的意思如下：

反向传播是一层层传播的，比如最后一层往倒数第二层传播，而后第二层继续往第三层传播。不是像我之前一个同事理解的，先计算最后一层相对倒数第二层的偏导，然后计算最后一层相对倒数第三层的偏导，即每次都是最后一层往上传播，这个是不对的。

我们可以理解最后一层的输出为,这个是经过神经网络后最后得到的输出。而实际的输出为y。那么这里的误差就是,我们设他为Z。这里的Z是输出层所有输出和预期的均方差之和。即：

这个是怎么来的呢，就是经过前面一层所有的权重相乘后相加再加上偏移获得：

这里a1表示前一层和w1对应的那个权重在上一层得到的**值。

得到前面的Z，而后即可针对w,a,以及b分别求他们的偏导，更新他们的新的值。w和b更新为新的值，a的值可以认为是上一层的预期输出，其差值正好可以作为再上一层的均方误差进行训练。

这里每一次更新不是一个样本，而是一个打乱的小批次，这就是随机梯度下降。

这就是根据自己理解的反向传播算法了。