softmax函数笔记
假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的Softmax值就是
也就是说,是该元素的指数值,与所有元素指数值和的比值。
其可以看成sigmoid函数在多元分布中的一个推广 。
详见 http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
在Logistic regression二分类问题中,我们可以使用sigmoid函数将输入Wx+b映射到(0,1)(0,1)区间中,从而得到属于某个类别的概率。将这个问题进行泛化,推广到多分类问题中,我们可以使用softmax函数,对输出的值归一化为概率值。
softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用,就映射成为(0,1)的值,而这些值的累和为1(满足概率的性质),那么我们就可以将它理解成概率,在最后选取输出结点的时候,我们就可以选取概率最大(也就是值对应最大的)结点,作为我们的预测目标!
好处;
1. 公式就非常直观
2. 梯度求导过程非常非常方便
参考文章:
https://blog.****.net/behamcheung/article/details/71911133
https://zhuanlan.zhihu.com/p/25723112