What is neural network?

It is a powerful learning algorithm inspired by how the brain works

 

监督学习与神经网络

一些例子来说明不同任务所使用的不同神经网络：

房屋价格估算、广告投放---standard NN（标准神经网络）

图像相关---CNN（卷积神经网络）

音频、语言等序列数据---RNN（循环神经网络）

无人驾驶、雷达---Hybrid NN（混合神经网络）

 

什么驱动了深度学习的发展呢？

1.数据

当训练集相对较小的时候，不同的神经网络的效果取决你手工设计的组件

当训练集逐渐变大的时候，增大神经网络的规模将会有更好的效果

2.计算

算法的优化带来计算速度的提升，而硬件设备（GPU）的不断进步也使得计算速度大幅提升

3.算法

                                      上图为RelU函数

为什么通常Relu比sigmoid强，有什么不同？

主要是因为它们gradient特性不同。sigmoid和tanh的gradient在饱和区域非常平缓，接近于0，很容易造成vanishing gradient的问题，减缓收敛速度。

vanishing gradient在网络层数多的时候尤其明显，是加深网络结构的主要障碍之一。相反，Relu的gradient大多数情况下是常数，有助于解决深层网络的收敛问题。Relu的另一个优势是在生物上的合理性，它是单边的，相比sigmoid，更符合生物神经元的特征。