softmax
softmax基本上可以算作是分类任务的标配。
那么什么是softmax呢？
对于一些**函数，例如：sigmoid，tanh，relu等，其输出值只有两种(0、1，-1、1，或0、x)，他们对于解决二分类问题比较不错。那么对于多分类的问题怎么解决方便呢？这时就需要使用 softmax。
softmax看到名字差不多就能猜出它是选取输出结果中的最大值进行分类的，输出值所代表的意义就是概率值。如果判断输入属于某一类的概率大于其他类，那么这个类对应的值就逼近于1，其他值当然就逼近于0。该算法主要用于多分类，而且相互之间是互斥的，即只能属于其中的一类。公式见下：
从公式可以看出，所有的概率值总和为1。
看一下softmax的网络模型：
该模型准备生成3中类型，因此就会产生三个概率值。
例如：某个样本经过生成的值y1为5，y2为3，y3为2。那么对应的概率值就为y1=5/10=0.5, y2=3/10=0.3, y3=2/10=0.2,， 于是最大值y1就是最终的分类。
tensorflow中常用的函数：
| 操作 | 描述 |
| tf.nn.softmax(logits, name=None) | 计算softmax |
| tf.nn.log_softmax(logits, name=None) |
对softmax取对数 logsoftmax[i,j] = logits[i,j] - log(sum(exp(logits[i]))) |