Softmax求导计算
Softmax求导计算
[Softmax][6]
学习神经网络中的softmax分类器
总的类别概率的和为1
求导：
1.当前类别的概率值对当前输入参数的求导，即dyi/dzi
求导类型为
计算过程如下：
2.当前节点的概率值对其它节点的输入参数求导，即dyj/dyi
求导类型为
计算过程如下
代价函数使用 互熵
求cross-entropy对输出层的参数zi求导， ，
因此,C的值由所有的输出节点y决定，而需要求导的变量zi又影响到所有的y，因此C对zi的求导需要分别对所有节点y进行，即其中的yi i= 1,2,3……J；也就有了上图中的求和符号
手工推导过程如下