softmax是怎样对全连接层的数据进行分类的
全连接层与softmax
全连接层的节点有很多,softmax是怎样对全连接层的数据读取分类的,以下是个人愚见
在做深度学习时,例如CNN网络,网络的最后往往是全连接层和softmax层,
图中W代表的是权重矩阵,bias是偏置,X是来自全连接层的输入,Z为K为的列向量。下图更直观的描述softmax分类的过程。
将wj 视为第j类下特征的权重,即每维特征的重要程度、对最终分数的影响程度,再经过Softmax映射为概率。具体操作过程如下图
可以看到,上图中有三个类别,softmax将原来的输入数值映射到(0,1)之间,属于Z1类概率为0.88,属于Z2类概率为0.12,属于Z3类概率约等于0,所有类别概率相加和为1。分类结果取其最大值