Beyond Part Models: Person Retrieval with Refined Part Pooling (and A Strong Convolutional Baseline）

行人重识别之图像软分割

Beyond Part Models: Person Retrieval with Refined Part Pooling
(and A Strong Convolutional Baseline)

原文链接：http://arxiv.org/pdf/1711.09349

一篇从分割图像出发的行人重识别文章，主要贡献如下：

将图像的软分割（利用神经网络的attention）和硬分割（预处理直接分块）结合在一起，超过了只使用软分割或者硬分割的算法，为后人的研究提供了新思路。

接下来，从硬分割和软分割以及如何结合在一起，来分析这篇文章。

硬分割：

这部分比较好理解，如下图所示。

将图像均匀分割p块，对应p个特征向量，每个特征向量对应一个全连接层和softmax以及一个损失。文中把这个网络称为PCB（Part-based Convolutional
Baseline）。

软分割：

硬分割太过于武断，可能会将一部分分割错误。如下图所示，右侧的图片与上图的tensor T相对应。软分割的效果就如下图所示。

如何做到呢？作者在网络中增加了一个softmax分类器，对上图中每一个小格对应的特征向量进行分类。作者称这一过程为RPP(refined part pooling)。

联合：

1. 训练PCB
2. 增加软分割分类器
3. 固定PCB中的参数，只训练软分类器的参数
4. PCB+RPP一同训练

接下来就是这篇文章的巨大槽点：RPP到底是如何训练的呢？文中的描述是先以PCB为重，因为RPP最开始的分类不准，然后再以RPP为重，最后达到一个平衡。但是没有说实现细节和方法…也可能是我眼拙，看到的大佬请留言。作者认为这种方法可以作为一个新的baseline，但是目前的引用数只有3…

最后看一下分割效果：

总结：这篇文章给了我们一个新思路，可以将软分割与硬分割结合：用硬分割约束可能会比较随意的软分割，用软分割进一步完善硬分割的瑕疵。细节描述不太清楚，不过也留下了探索的空间。

完

欢迎讨论 欢迎吐槽