最详细的Sigmoid函数的求导推导过程

Sigmoid函数为logistic回归、神经网络等模型的**函数。

函数图像如下:

最详细的Sigmoid函数的求导推导过程

 定义域是从 (−∞,+∞),值域是(0,1)。                                           

函数:最详细的Sigmoid函数的求导推导过程

导数:最详细的Sigmoid函数的求导推导过程

最详细的Sigmoid函数的求导推导过程

推导过程为:

最详细的Sigmoid函数的求导推导过程              

最详细的Sigmoid函数的求导推导过程                                                                                                                                             (1)                                                                         

最详细的Sigmoid函数的求导推导过程                                                                                                                                           (2)

其中,第一步到第二步可以看成最详细的Sigmoid函数的求导推导过程的形式。即:最详细的Sigmoid函数的求导推导过程

最详细的Sigmoid函数的求导推导过程                                                                                                       (3)

第二步到第三步是复合函数求导。

复合函数求导:先对外层函数求导再依次往里进行求导。

(1)外层可以看成最详细的Sigmoid函数的求导推导过程的形式。最详细的Sigmoid函数的求导推导过程的导数为:最详细的Sigmoid函数的求导推导过程

最详细的Sigmoid函数的求导推导过程等价于A。即:外层最详细的Sigmoid函数的求导推导过程求导为最详细的Sigmoid函数的求导推导过程

(2)再乘以内层的导数。内层又是一个1+最详细的Sigmoid函数的求导推导过程的形式。最详细的Sigmoid函数的求导推导过程

所以最详细的Sigmoid函数的求导推导过程的导数为:0 + 最详细的Sigmoid函数的求导推导过程 

(3)外部和内部相乘为:最详细的Sigmoid函数的求导推导过程,即为第四步。

最详细的Sigmoid函数的求导推导过程                                                                                                                                     (4)

最详细的Sigmoid函数的求导推导过程

最详细的Sigmoid函数的求导推导过程

最详细的Sigmoid函数的求导推导过程

最详细的Sigmoid函数的求导推导过程

最详细的Sigmoid函数的求导推导过程