COCAS: A Large-Scale Clothes Changing Person Dataset for Re-identification——准研究生论文周报

1 标题

COCAS: A Large-Scale Clothes Changing Person Dataset for Re-identification 来源：CVPR 2020 日期：06月30日周二

2 概述

现存的绝大多数REID数据集中，单一行人的着装是相同的，然而在实际生活中，换衣服是不可避免的，想要REID算法落地投入应用，更不能回避行人着装变化的情况。
为此，文章贡献了新的换衣数据集COCAS(ClOthes ChAnging Person Set)，数据集中同一行人有多种着装，且query不再是单张行人图片，而是行人图片加一张衣物模板(clothes template)图片，这与实际情况也相符。此外，作者提出双分支网络BC-Net(Biometric-Clothes Network)，证明了通过服装模板实现REID的可行性。

3 创新点

定义了新的REID方式，用行人图片和衣服模板query。
贡献了换衣REID数据集COCAS，包含了5266个人的62382张图像。
提出了双分支网络BC-Net，结合行人的生物特征及衣物特征实现REID。

4 详细内容

4.1 动机

不少学者发现着装仍然是REID工作不可忽视的关键特征，如下面的热力图，单靠生物特征几乎不可能理想地进行REID。
在实际生活中，换衣的情况是无法避免的，且存在犯罪嫌疑人企图通过换衣躲避追捕的案例。
现有的REID数据集或REID工作大都假设行人着装无变化，这不符合实际。

4.2 COCAS数据集

数据集共包含了5266人的62832张图片，每个行人有穿着2-3种衣服的5-25张图片。
query集包含行人图片和衣服图片，这与实际情况相符——寻人往往会描述着装特征。gallery集中单个行人的着装是相同的。
数据集中的行人不介意出现在该数据集中，且为了保护隐私，作者团队对人脸进行了模糊处理。
用行人解析模型LIP从行人图像裁剪出衣物，并在网络搜索出相应的衣物图片。

4.3 BC-Net网络

共包含两个分支，一个处理服装相关特征(clothes-relevant feature)，一个处理服装无关特征(clothes-irrelevant feature)如生物特征：人脸、体型、发型，最后融合两个特征，通过identification loss和triplet loss实现REID，网络的backbone是ResNet-50，结构如下：
其中生物特征分支中，Mask Module用于更好地提取服装无关、背景无关的特征，突出生物特征；对于服装特征分支，输入图像除了来自衣物模板外，还来自衣物检测器裁剪出的衣服图像。

对于生物特征： $f_k^B=\frac{1}{H\times{W}}\sum_{i=1}^H\sum_{j=1}^{W}[{\rm \textbf A}_k^p\,○\,{\rm \textbf M}^p]_{i,j}$

符号名	描述
${\rm \textbf A}_k^p \in \mathbb{R}^{H \times{W} \times{D}}$	经过ResNet50得到的第k个channel的feature map
$H \times{W} \times{D}$	feature map size， $D$ 是feature dimension
$f_k^B$	$f^B$ 的第 $k$ 个元素
${\rm \textbf M}^p \in \mathbb{R}^{H\times{W}\times{1}}$	${\rm \textbf A}_k^p$ 经过Mask Module得到的feature map
○	对应元素乘积

融合生物特征与服装特征： $f={\rm \textbf W}[(f^B)^T,(f^C)^T]^T+{\rm \textbf b}$ 其中 ${\rm \textbf W}\in \mathbb{R}^{d \times {2D}}$ ， ${\rm \textbf b}\in \mathbb{R}^{D}$ ， $f$ 在训练和测试阶段通过 $L_2$ 范数归一化。

4.4 实验

本文REID工作主要通过两种方式进行：1)将COCAS数据集视为传统REID数据集，按照传统方法，仅利用行人ID进行实验；2)query的过程加入衣物模板图片。
消融研究，寻找哪些因素是影响换衣REID模型性能的关键因素，如下表9,10条，仅用生物特征或服装特征实现REID。结果发现，结合两种特征识别效果很理想。
多个数据集上和其他baseline对比
不同的度量方法对结果的影响，RR代表re-ranking

5 收获与心得

广东省CVPR2020论文预交流会，作者对本文作出了讲解——视频地址。
本文主要贡献还是提出一个换衣行人数据集，字里行间流露出作者团队采集制作数据集的艰辛。衣物更换确实是不可忽视的一个点，原有的REID工作不考虑衣物更换，我感觉更像是车辆重识别，因为车辆一般不会出现大变化。
目前数据集还没有公开，未来研究换衣行人重识别应该也是热门，此外，我看到过网上讨论利用步态识别(gait-recognition)行人身份的可行性，不知基于步态识别实现REID是否可行，值得进一步探讨。总得来说，REID工作可能不仅局限于衣物特征，人脸特征。