WBCE

WBCE 即 weighted binary cross entropy，是 [1] 的公式 1，改版的 binary cross entropy。
$L^{wbce}(y,z,w)=-\sum_{i=1}^c[w_i\cdot y_i \log z_i+(1-y_i)\log (1-z_i)]$Lwbce(y,z,w)=−i=1∑c​[wi​⋅yi​logzi​+(1−yi​)log(1−zi​)]
其中，y 是真实 label 向量，z 是预测 label 向量，w 是权重向量，$w_i=\frac{\#0\{i\}}{\#1\{i\}}$wi​=#1{i}#0{i}​，$\#0\{i\}$#0{i} 是 training set 中不属于第 i 类的样本个数，$\#1\{i\}$#1{i} 类似地表示属于的。
$w_i$wi​ 是乘在中括号里面的。

Reformulation

当 z 是 sigmoid 的输出（如 [1] 的公式 4），记 $z=\sigma(x)$z=σ(x)（$\sigma(\cdot)$σ(⋅) 表示 sigmoid 函数），参照 [2]，修改公式防溢出。
先按 y、z、w 都是标量的情况考虑：
$\begin{aligned}L^{wbce}(y,z,w)&=-[w\cdot y \log z+(1-y)\log (1-z)] \\ &=-wy\log\sigma(x)-(1-y)\log[1-\sigma(x)] \\ &=wy\log(1+e^{-x}) + (1-y)[x+\log(1+e^{-x})] \\ &=(wy+1-y)\log(1+e^{-x})+(1-y)x \end{aligned}$Lwbce(y,z,w)​=−[w⋅ylogz+(1−y)log(1−z)]=−wylogσ(x)−(1−y)log[1−σ(x)]=wylog(1+e−x)+(1−y)[x+log(1+e−x)]=(wy+1−y)log(1+e−x)+(1−y)x​
因为 $e^{-x}$e−x 在 $x<0$x<0 时很爆炸：

对 $x<0$x<0 的情况特殊处理，变形：
$\begin{aligned}L^{wbce}(y,z,w)&=(wy+1-y)\log(1+e^{-x})+(1-y)x &(1) \\ &=(wy+1-y)\log(1+e^{-x})+(wy+1-y)x-wyx \\ &=(wy+1-y)[\log (1+e^{-x})+\log e^x]-wyx \\ &=(wy+1-y)\log (1+e^x)-wyx &(2) \end{aligned}$Lwbce(y,z,w)​=(wy+1−y)log(1+e−x)+(1−y)x=(wy+1−y)log(1+e−x)+(wy+1−y)x−wyx=(wy+1−y)[log(1+e−x)+logex]−wyx=(wy+1−y)log(1+ex)−wyx​(1)(2)​
(1) 式适用 $x\ge0$x≥0 的情况，(2) 适用在 $x<0$x<0，于是：
$\begin{aligned} L^{wbce}(y,z,w)&=\left\{\begin{array}{cc} (wy+1-y)\log(1+e^{-x})+(1-y)x, & x\ge0 \\ (wy+1-y)\log (1+e^x)-wyx, & x<0 \end{array}\right. \\ &=(wy+1-y)\log (1+e^{-|x|})+\max\{(1-y)x,0\}-\min\{wyx,0\} \end{aligned}$Lwbce(y,z,w)​={(wy+1−y)log(1+e−x)+(1−y)x,(wy+1−y)log(1+ex)−wyx,​x≥0x<0​=(wy+1−y)log(1+e−∣x∣)+max{(1−y)x,0}−min{wyx,0}​
后面 max 和 min 两项是因为 $y\in\{0,1\}$y∈{0,1}、$w\ge0$w≥0，所以 $(1-y)x$(1−y)x 和 $wyx$wyx 的符号看 $x$x。

References

1. Semi-Supervised Cross-Modal Retrieval with Label Prediction
2. tf.nn.sigmoid_cross_entropy_with_logits
3. Giving reasons on each line of a sequence of equations