NO. 8, AUGUST 2015 IEEE Sensors Journal
论文题目：基于双路径多分支网络的跨形态行人重识别

论文链接: https://ieeexplore.ieee.org/document/8809784.

1 摘要

目前很多的行人重识别的方法都是基于RGB图像进行识别，尽管基于RGB图像传感器的人物识别已经取得了很大的进展，但很少有人关注RGB图像和红外图像之间的人物识别，这是一个具有挑战性的跨模态问题，在黑暗环境或夜间广泛遇到。 本文提出了一种新的端到端双路径多分支网络用于RGB-红外交叉模态人的重新识别，该网络引入了多分支深层网络结构。SYSU-MM01数据集进行测试。

2 介绍

如图所示，进行研究的方法就是通过给RGB图像，检测出来红外模式下的相同行人；反之亦然。

本文的主要贡献如下：
1)提出了一种端到端的双路径多分支交叉模态网络，该网络利用RGB和红外图像之间的内在联系，将嵌入表示从一种模态转移到另一种模态。
ii)引入MGN结构来获取可区分的跨模态特征表示，结合图像的局部和全局信息，提高了特征嵌入的表达能力。
iii)在RGB-IR基准重识别数据集上的实验结果表明，该方法比现有网络具有更好的性能。据我们所知，我们提出的方法在SYSUMM01数据集上达到了最先进的水平。

3 方法

如图所示，网络的主题框架如上所示，分为了三个部分，特征提取，特征嵌入，度量学习。

3.1 特征提取模块

如图2所示，这两条路径通过相同的结构分别处理不同模态的图像，但不共享彼此的权重。其目的是提取区分模态的特征表示。 对于特征提取模块，我们在ResNet50的卷积4_2块之前采用了预先训练好的卷积层。这些层的详细信息可以在[44]中找到（resnet 4_2之前用来得到一个tensor T ，所谓的features，接下来利用MGN进行全局和局部特征的提取。）。

3.2 特征嵌入模块

如图所示，利用了MGN进行全局和局部的特征提取。（个人更倾向于两个模块归于一个。因为MGN前边的输入是由4_2层得到的特征映射。）
经过改变平均池化的核大小，可以得到对应的几部分。

3.3 度量学习

• 应用了ID-LOSS和verification-loss,每一个FC层后边都有一个id-loss，来提高网络的辨别能力。
• 然后，把三个分支得到的全局特征分为两个部分，IR和RGB，全局特征利用dual-constrained top-ranking loss,是一个提高版的triplet loss，这个函数包括了a cross-modality top-ranking constraint Lcross and a intra-modality top-ranking constraint Lintra
  
  
  

4 实验结果