论文阅读笔记-Automatic Portrait Segmentation for Image Stylization

转自 https://blog.****.net/mtc_Ningning/article/details/79241392

图像风格化的自动肖像分割

本文工作：

l  通过引入新的人像位置和形状作为域特殊知识来扩展FCN-8S的功能；

l  建立了人像图片分割数据集和benchmark来做模型训练和测试；

l  用我们的方法来增强了几种交互式人像编辑的方法实现全自动化。

FCN来分割人像的不足：

原VOC数据集人像分辨率不足&&原任务要分20类，不能做到对人像的精准。本文将FCN在我们的数据集上进行模型权重微调，然后把类别改为两类，得到的结果展示标记为PortraitFCN,但是结果也不是很理想，这是因为CNN为了追求语义信息而忽略了部分空间信息，本文提出了PortraitFCN+ 模型，在FCN里融入了从人像提取的空间信息。

本文方法：

总体来说：在FCN的基础上，用人脸检测（参考文献【SLC09】）来生成人像位置和形状通道，与颜色通道一起送入网络来训练。

l  位置通道：标识像素与人脸的相对位置，由于每张图片位置都不一样，我们采用归一化的x和y通道（像素的坐标），坐标以第一次检测到人脸特征点为准，并预估了匹配到的特征与人体标准姿势之间的一个单应变换T，我们将归一化的x通道定义为T（ximg），其中ximg是以人脸中心位置为0点的x坐标，同理y也是如此。这样，我们就得到了每个像素相对于人脸的位置（尺寸也有相应于人脸大小的缩放），形成了x和y通道。

l  形状通道：参考人像的标准形状（脸和部分上身），我们定义了一个形状通道。首先用我们的数据集计算一个对齐的平均人像mask。计算方法为：对每一对人像+mask，用上一步得到的单应变换T对mask做变换，变换到人体标准姿势，然后求均值。

其中W取值为0或1，当变换后在人像内的取值为1，否则为0。

然后就可以对平均mask类似地变换以与输入人像的面部特征点对齐。

数据和模型训练

l  数据处理

收集1800张手机前置摄像头拍摄的照片，图像大小600*800，1500来训练，300来测试。采用了各种方式（旋转缩放等）来进行数据的增强。

l  模型训练和测试

Caffe GPU 0.2一张，CPU 4秒一张。