Local Generic Representation for Face Recognition with Single Sample per Person (ACCV, 2014)

(1)Abstract:

1. 每个类别单个样本的人脸识别（face recognition with single sample per person, SSPP）是一个非常有挑战性的任务，因为在这种情况下很难通过标准样本库（gallery set）里面的样本对待测样本（query sample）的人脸变化量（facial variation）进行预测;

2. 针对这个问题，这篇论文提出了一个基于局部通用表示（local generic representation, LGR）[1] 框架的人脸识别算法;

3. 该算法通过从标准样本库（gallery dataset）中抽取相邻的人脸图像块来建立一个局部标准字典（local gallery dictionary），并且利用外部的一个通用数据集（generic dataset)来建立一个类内变量字典（intra-class variation dictionary），从而实现的对可能的人脸变化量的预测（不同的光照，姿势，表情，遮挡物等）；

4. 该算法最小化待识别样本（query sample）与局部标准字典（local gallery dictionary）和通用变量字典（generic variation dictionary）的残差（residual），并且使用相关熵（correntropy）来每个图像块的表示残差（representation residual）。

(2)算法框架

 图1. LGR算法框架图

如图一所示，标准库（galleray set）是由训练人脸图像构成的，而通用集（generic training set）包括了参考子数据集（reference subset）和变量子数据集（variation subset）,而参考子数据集是由正面无外部变量的人脸图像（neutral face image）或者每类人脸图像的均值图像构成的，而变量子数据集则是由具有不同脸部变化（facial variations）的人脸图像构成的。

(3)算法详解

1）局部通用表示（local generic representation）

1.1 通用表示（generic representation）

对于每类只有一个样本的人脸识别问题（face recognition with single sample per person, SSPP），我们将标准数据集（gallery set）表示为X=[x1,..,xk,...xk]属于R^d×K,其中x_k属于R^d是第k类的唯一标准样本（gallery sample)，k=1,2,...,K。给出一个待识别样本（query sample）z属于R^d那么根据SRC [2] 有:

z=Xα+e (1)

 对于SSPP（single sample per person, SSPP）问题，z中的遮挡、光照、表情等变化(variantions)不能很好地用X里的每个类别的单个样本来表示，导致z的表示残可能会很大，因此可能会分类错误。如下图1（a）所示，SRC合成的人脸图Xα不能很好地表达光照的变化，因此误差e比较大。

图2. 稀疏表示与通用表示

考虑到人脸图像的光照、姿势、表情、遮挡物等不同的变量能在不同的个体间共享，我们可以用一个外部通用训练集(external generic training set)来构建一个类内变量字典(intra-class variation dictionary) [3] [4]。假设我们有一个通用训练集（generic training set） G=[G^r+G^v]，其中G^r和G^v分别是参考子数据集（reference subset）和变量子数据集(variation subset)。用变量子数据集减去参考子数据集，我们可以得到类内变量字典D（intra-class variation dictionary）如式（2）所示。

D=[G^v₁-G^r,...,G^v_m-G^r...,G^v_M-G^r] (2)

将待识别样本（query sample）z用标准数据集（gallery set）X和通用变量字典（generic variation dictionary）D 表示为：

z=Xα+Dβ+e (3)

图2（b）展示的是待识别样本z的通用表示（generic variation）。此时目标函数为：

min{α,β}||z-Xα-Dβ||²2+λ(||α||₁+||β||₁) (4)

1.2 基于块的局部通用表示（patch based local generic representation）

人脸的不同部分（如眼睛，嘴巴，鼻子，脸颊等）有不同的结构，并且它们对识别一张人脸的重要程度是不一样的。因此该论文提出一种基于块的局部通用表示算法（patch based local generic representation scheme）。一个待识别样本z可以分割为S个小块{z₁,z₂,..,z_S}。相应地，gallery dictionary X和generic variation dictionary D可以分割为为{X₁,X₂,..,X_S}和{D₁,D₂,..,D_S}。每个局部小块z_i可以表示为:

z_i=X_iα_i+D_iβ_i+e_i (5) 

目标函数可以表示为：

min{α_i,β_i}||z_i-X_iα_i-D_iβ_i||²2+λ(||α_i||₁+||β_i||₁) (6)

图3. 残差e_i的直方图

 由图3可知，残差e_i不属于高斯分布，不符合基于二范数的损失函数的要求。该论文采用相关熵（correntropy）来为非高斯分布的数据构建损失函数。则该论文提出的局部通用表示（local generic representation, LGR）模型可以表示为：

(6)

2)分类

 （7）

（3）总结

LGR（local generic representation）结合了基于分块的局部表示（patch based local representation）以及通用学习（generic learning）

的优点。该算法通过构建一个通用类内变量字典（generic intra-class variation dictionary ）来弥补由于样本不足导致无法充分表示人脸变化量（fatial variation）的问题。此外，该算法还利用相关熵（correntropy）来构建损失函数，从而更鲁棒地分析人脸图像中不同的图像块的特征。

[1] Zhu P., Yang M., Zhang L., and et al., "Local Generic Representation for Face Recognition with Single Sample per Person", ACCV 2014, 547: 41-50.

[2] Wright J., Yang A., Ganesh A., and et al., "Robust Face Recognition via Sparse Representation", IEEE transactions on pattern analysis and machine intelligence, 2009, 31(2), pp 210-227.

[3] Deng W., Hu J., and Guo J., "Extended SRC: Undersampled face recognition via intra-class variant dictionary", IEEE transactions on pattern analysis and machine intelligence, 2012, pp 1864-1870.

[4] Yang M., Gool L.V., and Zhang L., "Sparse Representation Dictionary for Face Recognition with A Single Training Sample Per Person", 14th IEEE International Conf. Computer Vision (ICCV), 2013, 689-696.