[深度学习论文笔记][总结]Invariant gait feature extraction based on image transformation
近期有两篇来自于同一第一作者单位的工作，使用基于神经网络的图像变换模型来处理不同视角、不同衣着或手持物的CEI特征到统一的90°正常特征(SPAE与GaitGAN)。在这里加以简单总结与对比。
[Neurocomputing 17] Invariant feature extraction for gait recognition using only one uniform model
Shiqi Yu, Haifeng Chen, Qing Wang, Linlin Shen, Yongzhen Huang
from Shenzhen University and CAS-IA
这篇文章使用自动编码器(Auto-encoder)来去除来自于CL（大衣）和BG（手持包）的CEI中的影像识别的因素，之后将不同视角的CEI特征转换到统一的视角(side view = 90°)。
直接进行转换会使得任务变得很困难。本文采用了divide-and-conquer思想将变换过程进行拆分，分布训练编码器，再进行叠加。
作者设计的编码器首先处理CL和BG特征到正常的NM CEI。其中CL到NM的变换通过1层网络即完成变换，而BG到NM需要通过2层网络的变换。
之后视角变换的编码器则以NM状态的CEI作为输入。该部分每层编码器的功能如下图所示。举例说明，如layer2的功能是将0°和180°的CEI转化为18°和162°，同时其他视角的CEI保持不变。其他层的功能依此类推。
自动编码器的训练是逐层的，即按照上述的任务拆分从下至上依次训练，逐层累加。各层累加完毕后整个网络一起进行微调。
[CVPRW 17] GaitGAN: Invariant Gait Feature Extraction Using Generative Adversarial Networks
Shiqi Yu, Haifeng Chen, Edel B. Garcia Reyes and Norman Poh
from Shenzhen University, ATAC of Cuba and U Surrey
这篇文章是PixelDTGAN[1]的直接应用。整套框架包含三个部分：转换器和两个对手分类器（真假图片分类器、行人身份判别器-对应于Domain Transfer判别器）。
其中真假分类器用来判断输入图片是否是90°CEI特征图。行人身份判别器以一对CEI特征图作为输入，判断它们是否来自于同一个行人个体。
Experiment
上述两种方法都是对CEI的处理手段。当生成具有不变性的CEI之后，两篇文章使用PCA+最近邻分类器在CASIA-B数据库上进行了实验。部分实验结果如下所示，可见SPAE（红）和GaitGAN（蓝）的性能不相上下。
Reference
[1] D. Yoo, N. Kim, S. Park, A. S. Paek, and I. S. Kweon. Pixellevel domain transfer. in ECCV 2016