2020 Arxiv之跨模态Reid：RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model

RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model
简述：
Reid的关键挑战是不同模式下特征的跨模态差异。为了解决这一挑战，我们提出了一种基于不同域的师生模型(TS-GAN)。
模型：

1.首先，GAN部分，仅采用了RGB生成IR的分支，但IR生成RGB用于辅助训练后期没有用到：

（使用L1范数，因为它能比L2范数在图像边缘获得更好的生成性能）
2.Backbone（红色部分）将Res50分为前3层（图中FEs）和后2层（图中LEs），ranking loss和 ID loss分别作用于GAP后的第一层latent vector和最后一层分类全连接层，分别选用triplet loss和soft-label identity classification loss。
其中，soft-label identity classification loss不太常用，常在教师-学生指导模型中使用（DG-Net中使用过），qi,n为动态软标签，具体如下：

3.本文的教师指导模型由蓝色表示，其中FET也由Res50的前三层组成，由于IR生成RGB图像的效果极差，输入为所有图像的IR形式（RGB图像用过GAN生成像素对齐的Fake IR，IR本身的图像不变），虽然没有颜色特征，但分类任务同样可以使得Rank-1达到98%（下表）：

实验：
本文最后在测试时加入了重新排序re-ranking的方法：
重新排序的关键思想是，如果一个图库图像在它的k-倒数最近的邻居中类似于探测，那么它更有可能是一个真正的匹配。下图为和其他GAN方法在SYSU比较的结果，并对是否加入re-ranking进行分别讨论。

总结：
本文虽然是一篇Arxiv，但是用了一种很巧妙（说的通）的方式，解决了目前GAN在跨模态 Reid中IR生成RGB图像的效果差的问题，本文使用了两个模态的图像相互生成作为指导，但仅使用了RGB生成IR图像作为教师学生模型的输入。同时，本文并没有直接将生成结果作为backbone输入的唯一标准（文章其实可以把这个点单拎出来说明），从文章看本文是one-stage（具体要看代码），3个模块相互指导，backbone生成real RGB的feature map指导GAN的判别器部分，GAN将生成的fake IR作为backbone和教师模型的输入，教师模型提取的fake IR和real IR的信息反过来又指导backbone的Feature extraction，同时间接指导了GAN网络。教师-学生指导模块本身的作用我认为就是将GAN部分与backbone融为一体，两个模块不是孤立的类似two-stage的存在，从效果来看，2019 CVPR（oral）的DG-GAN（单模态Reid）原理类似，甚至结果超过了CNN提取特征再进行特征映射的文章，值得进一步探索。