CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations
Hello, 今天是论文阅读计划的第13天啦
今天介绍一片关于人脸反欺骗的文章～
实验室最近有本科生要做这个的毕设，既然我对自己有论文阅读计划的安排，那我就把这个课题当作课外补充，来了解一下这块的知识。
论文阅读计划主要是用来自己扩充知识，如果能与实际结合，给他们提提建议那也是不错的。
CelebA-Spoof：大规模带有丰富的标注的人脸反欺骗数据集
来自北京交通大学、商汤科技、香港中文大学等单位贡献了一个大规模的人脸反欺骗数据集CelebA-Spoof，其论文被ECCV 2020 收录。
一、研究背景
随着人脸识别应用的广泛部署，针对人脸识别系统的工具越来越多，人脸活体检测（反欺诈）成为重要的研究方向。其目的是识别所呈现的人脸是真实的还是欺骗的。
想象一个场景，一个攻击者拿着你的照片或视频，可以解锁你的手机，甚至用你的电子钱包付账。为此，人脸反欺骗已经成为保护我们的隐私和财产不被他人非法使用的关键技术。
尽管已经取得了不错的进展，但现有的作品在处理复杂的欺骗攻击和推广到现实世界场景方面仍然存在困难。主要原因是目前的人脸反欺骗数据集在数量和多样性上都受到限制。
二、相关工作
近年来，人脸反欺骗算法取得了很大进展。大多数传统算法专注于手工特征，如LBP，HoG和SURF。其他研究也集中在时间特征上，如眨眼和嘴唇运动。为了提高对光变化的鲁棒性，一些研究人员关注不同的颜色空间，如HSV，YCbcR和傅里叶谱。
随着深度学习模型的发展，研究人员也开始关注基于卷积神经网络的方法。将人脸PAD问题视为二进制分类，性能良好。辅助监督的方法也被用来提高二元分类监督的性能。让全卷积网络学习深度图，然后辅助二进制分类任务。刘等人提出了基于远程指纹(rPPG)信号的方法来促进3D人脸反欺骗的发展。刘等提出利用深度图结合rPPG信号作为辅助监管信息。Kim等人提出使用深度图和反射图作为二分辅助监督。此外，杨等人提出将视频流中的空间信息与时间信息相结合，以提高模型的泛化能力。阿明等人通过将欺骗照片分解为实时照片和欺骗噪声模式来解决人脸反欺骗问题。上述方法容易对训练数据进行过拟合，在真实场景中泛化性能较差。为了解决泛化能力差的问题，邵等人采用迁移学习来进一步提高性能。因此，需要一个更复杂的大规模、多样化的人脸反欺骗数据集。
三、内容
为了克服这些障碍，本文提供了一个大规模的人脸反欺骗数据集，具有以下吸引人的特性:
- 数量:人脸反欺骗由10，177个对象的625，537张图片组成，明显大于现有的数据集。
- 多样性:欺骗图像是用10个以上的传感器从8个场景(2个环境* 4个照明条件)中捕获的。
- 标注丰富度:CelebA-Spoof 包含10个恶搞类型的注释，以及继承自CelebA原始数据集的40个属性标注。
本文主要观点是，与常用的二进制监督或中级几何表示相比，丰富的语义标注作为辅助任务可以大大提高人脸反欺骗在各种欺骗攻击中的性能和可推广性。
在一个统一的多任务框架——Auxiliary Information Embedding Network (AENet) 中仔细地对现有的方法进行了基准测试，并揭示了几个有价值的观察结果：
- 我们分析了辅助几何信息对不同欺骗类型的有效性，并说明了几何信息对特殊光照条件的敏感性。几何信息包括深度图和反射图。
- 验证辅助语义信息，包括人脸属性和欺骗类型，对提高分类性能有重要作用。
- 基于这两个辅助信息，我们构建了三个CelebA-Spoof benchmarks。
四、方法
损失定义：
五、总结
本文主要是在介绍为什么设计这个数据集，怎么设计这个数据集，以及用什么方法来识别。最核心的观点，就是通过语义信息来辅助识别。