EET_loss学习

传统的Triplet-based约束的缺点：

如上左图中，$x_a$xa​是锚点，$x_p^1、x_p^2$xp1​、xp2​是正样本，$x_n^1、x_n^2$xn1​、xn2​是负样本。存在这样一种情况，$\{x_a,x_p^1,x_n^1\}${xa​,xp1​,xn1​}出现在一个batch中，$\{x_a,x_p^2,x_n^2\}${xa​,xp2​,xn2​}出现在另一个batch中。在各自的batch里的，这几条数据满足Margin Constraint。但从全局的角度来看，$\{x_a,x_n^1\}${xa​,xn1​}之间的距离甚至要比${\{x_a,x_p^2\}}${xa​,xp2​}间的距离要近。

EET(Equidistant and Equidistributed Triplet-based) loss的做法

在Triplet-based Margin Constraint（公式如下）的约束的基础上,
$L_{MC} = \dfrac{1}{N}\displaystyle\sum_{a=1}^N[d(f_a,f_p)-d(f_a,f_n)+\alpha]^+$LMC​=N1​a=1∑N​[d(fa​,fp​)−d(fa​,fn​)+α]+
增加下面几个部分:

1.约束同类别的不同样本到一个negative样本尽可能等距，如$d(A_{1},B)$d(A1​,B)与$d(A_{2},B)$d(A2​,B) (同字母代表同标签)

$L_{EC_1} = \dfrac{1}{N}\displaystyle\sum_{a=1}^N|d(f_a,f_n)-d(f_p,f_n)|$LEC1​​=N1​a=1∑N​∣d(fa​,fn​)−d(fp​,fn​)∣

2.最大化类间的最小距离

$L_M = \dfrac{1}{M*(M-1)}\displaystyle\sum_{i=1}^M\displaystyle\sum_{y_i\neq y_j}^Me^{D(C_i,C_j)}$LM​=M∗(M−1)1​i=1∑M​yi​​=yj​∑M​eD(Ci​,Cj​)
其中，$y_i,y_j$yi​,yj​是样本$i,j$i,j的类别标签,另外$D(C_i,C_j)=\min_{y_i=y_{C_i},y_j=y_{C_j}}d(f_i,f_j)$D(Ci​,Cj​)=minyi​=yCi​​,yj​=yCj​​​d(fi​,fj​)

3.约束任意一对的positive和negative样本尽可能等距 如$d(A,B)$d(A,B) 和$d(B,C)$d(B,C)

$L_E = \dfrac{1}{M}\displaystyle\sum_{a=1}^M|d(f_a,f_n)-d(f_n,f_n^{'})|$LE​=M1​a=1∑M​∣d(fa​,fn​)−d(fn​,fn′​)∣
$x_n^{'}$xn′​是与$x_n$xn​距离最近的不同标签的样本。

4.(经过实践自己添加) 最小化类内的最大距离

$L_N = \dfrac{1}{M}\displaystyle\sum_{i=1}^M\displaystyle\sum_{y_i= y_j}^Me^{-D(C_i,C_j)}$LN​=M1​i=1∑M​yi​=yj​∑M​e−D(Ci​,Cj​)

EET 约束的表达式

$L_{EET} =L_{MC} + L_{EC_1} + L_M + L_E+L_N$LEET​=LMC​+LEC1​​+LM​+LE​+LN​