softmax 、softmaxt loss、cross-entropy

softmax

把输入的x值进行e(e的x次方)操作,使大的更大小的更小,然后再对输入值求概率,则大的概率也大,小大概率也小,具体操作入下图
softmax 、softmaxt loss、cross-entropy
softmax计算公式如下:

Si=eijej S_i = \dfrac{e^i}{\sum_j{e^j}}

softmax loss

softmax loss就是经过softmax**之后计算的loss值,公式如下
loss=yilogSi loss = \sum{y^ilogS_i}
其中yi为0或1(若是这个类则为1,不是则为0)
log是以e为低的对数

cross-entropy

cross-entropy同softmax loss

tensorflow计算示例

softmax 、softmaxt loss、cross-entropy