行人属性“Generative Adversarial Models for People Attribute Recognition in Surveillance”
对于监控场景下的行人,图片一般不清晰或被其他行人物体遮挡,可以进行图像清晰化、去遮挡操作,提升属性识别准确率。
相关工作
整个人体进行属性的识别:ACN,DeepMAR;part-based models,R*CNN;MLCNN。
方法描述
1. 几种方法对比
baseline方法:基于ResNet的行人属性分类。
两个生成对抗模型:重建被遮挡的人体部位,提高图像分辨率。
2. 网络描述
属性预测网络,结合行人部件可以提升识别率,将输入图像分解成几块:肩部以上,上半身,下半身及全身。四块输入到ResNet50网络,获得四个特征图。对ResNet50网络进行了改造,使用全局平均池化替代最后一个
网络结构如下图所示:
网络使用加权二值交叉熵损失训练:
3. 重建网络
移除人体遮挡,并使用人体部件替换。尽管替换的人体部件与可能与这个人的属性不相干,移除遮挡后可以移除噪声(解释有点牵强)。
给定遮挡图像
此外,定义一个带参
生成网络结构如下图所示:
辨别网络与生成网络的解码部分类似,滤波器的个数不同。
生成网络的损失函数为:
4. 超分辨网络
构建过程与重建网络类似,训练样本使用下采样生成。生成的训练样本为:
实验结果
baseline方法与其他方法的对比
重建网络及超分辨网络的性能: