2020 CVPR 之ReID:AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identi
AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identification
简述:
当目标域的身份未知时,现有的方法试图通过转移图像样式或跨域对齐特征分布来解决,而目标域中丰富的未标记样本不能充分地实现。本文提出了一种新的增强描述本地聚类(AD-Cluster)技术,该技术可以估计和增强目标域内的人聚类,并通过附加聚类增强re-ID模型的识别能力。
AD-Cluster交替训练一个图像生成器和一个特征编码器,分别最大化簇内离散(即增加样本空间的多样性)和最小化特征空间中的簇内距离(即减小新特征空间中的距离)。
模型:
该聚类由基于密度的聚类、自适应样本增强和区分性特征学习三部分组成。
首先用CE loss和triplet loss用源域标记样本对编码器f进行训练。在目标域中,未标记样本由f提取的特征表示,其中基于密度的聚合模块将其分组到聚类中,并使用聚类id作为聚类样本的伪标签。
由于每个摄像机都是一个不同风格的new domain,GAN将目标域的每个样本转换到其他摄像机中,从而增加样本数量。将生成的图像和原图进行联合训练。下图的意思是,固定特征学习网络,增强Generator,增强生成网络的生成能力;再保持Generator不变,将生成的fake图像与原real图像联合训练使得网络特征学习增强。(通过starGAN进行训练,同一个id为一个标签)
实验:
消融实验:
对比试验:
总结:
本文其实解决的是一个迁移学习(域迁移)的问题,通过starGAN增强目标域的样本,通过交叉训练来提高系统的鲁棒性,同时最大化簇内离散(即增加样本空间的多样性)和最小化特征空间中的簇内距离(即减小新特征空间中的距离)。但是本文的网络由于时联合训练,同时GAN网络和reid任务都是比较吃batch size,所以本文的框架在4块特斯拉训练,比较吃成本。