一些**函数公式
http://mp.weixin.qq.com/s/4gElB_8AveWuDVjtLw5JUA
sigmoid函数：
导数推导：
所以sigmoid的倒数 y' = 1 - y。
其他**函数及其导数：
rectifier(x) = max(0, x)
rectifier 函数被认为有生物上的解释性。神经科学家发现神经元具有单侧抑制、宽兴奋边界、稀疏**性等特性。采用 rectifier 函数的单元也叫作正线性单元(rectified linear unit, ReLU)
http://mp.weixin.qq.com/s/4gElB_8AveWuDVjtLw5JUA
sigmoid函数：
导数推导：
所以sigmoid的倒数 y' = 1 - y。
其他**函数及其导数：
rectifier(x) = max(0, x)
rectifier 函数被认为有生物上的解释性。神经科学家发现神经元具有单侧抑制、宽兴奋边界、稀疏**性等特性。采用 rectifier 函数的单元也叫作正线性单元(rectified linear unit, ReLU)