[MICCAI2019] Overfitting of neural nets under class imbalance: Analysis and improvements for segment

作者单位：
Zeju Li，Biomedical Image Analysis Group, Imperial College London

分析

在前景比较少（类别不平衡）的分割场景中，逐步减少训练数据量，作者发现precision稳定，sensitivity下降明显。

作者进一步可视化分类层的输出，发现1、前景离决策面太近，背景离决策面较远；2、随训练数据量减少，前景train和test的均值点gap变大，且test的均值点逐渐进入背景区域，说明随数据量减少，过拟合现象越严重

根据上述分析，作者希望通过显式地将前景的logits拉离决策面，来提升最终的分割精度。基于此，作者对传统loss引入了基于前景的非对称性。

改进

1、margin loss

改进为：

2、focal loss

改进为：

3、adversarial training

4、mixup

改进后结果

根据可视化结果，改进后虽然train和test的gap仍存在，但逐步将test的均值点移回到了前景区域。从表1来看，分割精度也确实有了较大提升。