损失函数

​ 在逻辑回归建立过程中，我们需要一个关于模型参数的可导函数，并且它能够以某种方式衡量模型的效果。这种函数称为损失函数（loss function)。

​ 损失函数越小，则模型的预测效果越优。所以我们可以把训练模型问题转化为最小化损失函数的问题。

​ 损失函数有多种，此次介绍分类问题最常用的交叉熵（cross entropy)损失,并从信息论和贝叶斯两种视角阐释交叉熵损失的内涵。

K-L散度与交叉熵

• 随机变量X有k种不同的取值：$X^1, X^2, X^3 ，…… ，X^k$X1,X2,X3，……，Xk。 记X的取值$X^i$Xi 的概率为p(X=$X^i$Xi) ,简写为P（$X^i$Xi) .

• 克劳德**·** 香农定义了信息的信息量：

  $I(X = X^i) = \log \frac{1}{p(X^i)} = - \log p(X^i)$I(X=Xi)=logp(Xi)1​=−logp(Xi)

  注：其中对数可以以任意合理数为底，如 2、e。使用不同的底数所得到的信息量之间相差一个常系数。

  若以2为底，信息量的单位是bit ，I（X=$X^i$Xi )是X = $X^i$Xi 这条信息的自信息量（self-information) .

• 自信息量I随着概率P($X^i$Xi)的图像变化如下：

自信息量背后的含义：信息中事件发生的概率越小，则信息量越大。

举例：假如有人告诉你即将开奖的**中奖号码是777777777，这条信息的价值很高，类似事情发生概率极小。假如有人告诉你明天太阳会升起，这件事对你来说价值很低，但是他发生的概率却很高。所以我们会觉得**的开奖号信息量很大，太阳升起的信息量较小。

• 我们令信息源X 取不同的值 $x^1, x^2 , x^3 ... x^k$x1,x2,x3...xk 的概率分布分别为$p(x^1) p(x^2) p(x^3) ... p(x^k)$p(x1)p(x2)p(x3)...p(xk) .

• 定义信息源 X的熵（entropy)为：

  H§ = $\sum_{i=1}^K P(x^i) \log \frac{1}{P(x^i)} = - \sum_{i=1}^K P(x^i)\log P(x^i)$∑i=1K​P(xi)logP(xi)1​=−∑i=1K​P(xi)logP(xi)

• 信息源由概率分布p描述，s所以熵是p的函数，熵的概念来自热力学。H§又称平均信息。

• 根据公式我们可以看出，H§是将X所有取值的自信息量以概率为权重取平均。

• 对于两个概率分布p和q, 定义p和q的K-L散度（kullback-leibler divergence)是：

  $KLD(p||q) = \sum_{i=1}^k p(x^i) \log \frac{p(x^i)}{q(x^i)} = - \sum_{i=1}^k p(x^i) \log q(x^i) - H(p)$KLD(p∣∣q)=∑i=1k​p(xi)logq(xi)p(xi)​=−∑i=1k​p(xi)logq(xi)−H(p)

• K-L散度是$\log \frac{p(x^i)}{q(x^i)}$logq(xi)p(xi)​ 在分布p上的期望。（注：KLD(p||q) $\neq$​= KLD(q||p))

• 根据上述公式我们可以发现，当$p(x^i)和q(x^i)$p(xi)和q(xi) 相等时，$\log \frac{p(x^i)}{q(x^i)} =0$logq(xi)p(xi)​=0 所以KLD散度等于0。所以说两个同分布的KLD散度为0，所以我们一般使用KLD描述两个概率分布之间的相似度。

• 我们定义交叉熵：

  $H(p,q) = - \sum_{i=1}^k p(x^i) \log q(x^i)$H(p,q)=−∑i=1k​p(xi)logq(xi)

• 所以根据上述两式，有：

  $H(p,q) = KLD(p||q) + H(p)$H(p,q)=KLD(p∣∣q)+H(p)

• 分布p和q的交叉熵等于它们的K-L散度加上p的熵。现在假设分布$p$p固定，则$H(p,q)$H(p,q)与$KLD(p||q)$KLD(p∣∣q)之间只相差一个常数$H(p)$H(p)，所以此时$H(p,q)$H(p,q)也可以被用来描述两个分部之间的相似程度。即：$H(p,q)$H(p,q)越小，p,q越相似。

1. 对于一个训练样本{${x^i, y^i}$xi,yi } 可以标签$y^i$yi 给出了一个类别的概率分布：

2. $P(x^i \in p) = y^i ， P(x^i \in n) = 1-y^i , i= 1,……，M$P(xi∈p)=yi，P(xi∈n)=1−yi,i=1,……，M

3. 我们将逻辑回归模型的输出看做一个分布Q：

4. $Q(x^i \in p) = \frac{1}{1+e^{-b-W^Tx^i}} , Q(x^i \in n) = \frac{1}{1+e^{b+w^Tx^i}} , i=1,……，M$Q(xi∈p)=1+e−b−WTxi1​,Q(xi∈n)=1+eb+wTxi1​,i=1,……，M

5. 所以我们希望回归模型的准确率尽可能地高，即是希望分布Q与训练集P的分布尽可能地相似，由此我们可以使用交叉熵来描述输出分布于标签分布的相似度，也就是我们所说的损失函数（loss)

$loss(w,b|x^i,y^i) = -y^i\log \frac{1}{1+e^{-b-W^Tx^i}} - (1-y^i)\log\frac{1}{1+e^{b+w^Tx^i}} i= 1,...,M$loss(w,b∣xi,yi)=−yilog1+e−b−WTxi1​−(1−yi)log1+eb+wTxi1​i=1,...,M

上式是模型在一个样本的交叉熵，其值越小，预测分布于标签给出分布越相似。

$loss(w,b|x^i,y^i) = \frac{1}{M} \sum_{i=1}^M( -y^i\log \frac{1}{1+e^{-b-W^Tx^i}} - (1-y^i)\log\frac{1}{1+e^{b+w^Tx^i}} )i= 1,...,M$loss(w,b∣xi,yi)=M1​∑i=1M​(−yilog1+e−b−WTxi1​−(1−yi)log1+eb+wTxi1​)i=1,...,M

上式是样本的平均交叉熵，作为模型的损失函数。