2019CVPR之ReID：Interaction-and-Aggregation Network for Person Re-identification

Interaction-and-Aggregation Network for Person Re-identification
当前的问题及概述：
由于CNNs具有固定的几何结构，其在人的姿态和尺度的巨大变化建模中具有固有的局限性：a展示了同一ID的不同姿态，b展示了小样本或不完全等问题。

由于目前CNN提取特征有以下两种方法，一是定位身体部分，并将其组合起来，但即使是最先进的部分检测解决方案也不是完美的。另一种方法是多尺度特征融合，即在网络的多层上计算特征图。
本文提出了一种通过交互-聚合(IA)的方法，增强了CNNs的特征表示能力，特别是在人体姿态和尺度变化的情况下，对同一身体部位作出反应的相关特征聚集起来。IA包括两个模块:空间交互聚合(SIA)和通道交互聚合(CIA)，SIA可以根据输入的人的姿势和比例，自适应地确定感受野，CIA可以有选择地聚合信道特征以增强特征表示，特别是对于小尺度的视觉线索。
模型及loss：
2.1 SIA Module

CIA分为interaction（交互）和aggregation（聚合）两个模块，在交互模块中，将输入reshape为C×M大小，由于涉及相邻位置的patch可以捕捉到更精确的外观，因此本文认为在feature map任何位置加入上下文信息可以获得更精确的相似性。如下图所示：

fi, fj∈RC表示特征映射F的第i和第j空间位置的特征。为了计算fi和fj的外观相似度，首先分别提取i和j周围的K×K patch Pi和Pj。然后，通过累积对应位置特征之间的点积，用softmax对F中所有空间位置进行归一化，得到外观相似性，并极大地抑制了与不同身体部位相关性小的相似性值:

从下图可以看到，越暖的颜色价值越高，K越小，覆盖的面积越大，但带有大型上下文补丁的关系映射(例如，K =5)会过滤掉异常值，但忽略正确的区域。全局上选文模块SA：

通过二维高斯函数计算空间特征fi与fj之间的位置关系；

然后对li周围链接的lj进行权重分配，使得value和为1：

最后通过softmax将SAi集合为SA：

2.2 CIA model

目前的里德模型通常是通过叠加多个卷积层来提取行人特征。随着层数的增加，这些模型很容易失去小范围的视觉线索，如包和鞋。然而，这些细粒度的线索对于区分具有较小类间差异的行人对非常有用。本文构建了CIA模块来跨所有通道增强语义相似的特征，这可以增强特定部分的特征表示。
同SIA一样，先将输入reshape为F（C×M），然后对F与F的转置进行矩阵乘法，并对结果进行归一化，得到信道语义关系映射C（C*C）。具体地说，任意两个内核之间的语义相似度计算为：

然后对F和C进行叉乘：

2.3 IA block&IA Net
SIA（CIA）block：

Backbone采用Res-50，具体链接方式见图：

实验：
数据集：CUHK03 , Market-1501, DukeMTMC-reID ,MSMT17

与其他框架比较（G：global feature，P：part feature，MS：multi-scale feature）：

消融实验：

总结：
本文通过将image分patch 的方法，将相同特征的人体部分进行聚类，本文的核心是CIA和SIA模块，SIA根据输入的人的姿态和比例，自适应感受野，SIA首先对不同尺度的patch进行特征提取，通过上下文信息将每个patch周围的部分计算位置关系并进行权重分配，得到了尺寸大小不同但语义特征相同的人体部分。CIA输入聚合后的特征，在本模块进行语义特征增强操作，特别是对于小尺度的cue进行进一步的refine。