softmax
把输入的x值进行e(e的x次方)操作,使大的更大小的更小,然后再对输入值求概率,则大的概率也大,小大概率也小,具体操作入下图

softmax计算公式如下:
Si=∑jejei
softmax loss
softmax loss就是经过softmax**之后计算的loss值,公式如下
loss=∑yilogSi
其中yi为0或1(若是这个类则为1,不是则为0)
log是以e为低的对数
cross-entropy
cross-entropy同softmax loss
tensorflow计算示例
