多人种人脸识别
点击我爱计算机视觉标星,更快获取CVML新技术
本文转载自一碗数据汤,为2019 CCF BDCI比赛多人种人脸识别一等奖获奖团队技术方案分享,除了使用了监督学习、图像增强、模型融合,作者还使用了无监督学习,非常值得相关同学参考!
多人种人脸识别
赛题信息
出题单位:蚂蚁金服
赛题类型:第二赛道-系统题
技术方向:性能优化,人脸识别
赛题背景
人脸识别技术在实际应用中在不同人种的性能有差异。如何快速的提升人脸识别系统在不同人种的性能, 是一个实用的人脸识别算法应该考虑的问题。
赛题任务
要求结合一个给定的模型 (InsightFace), 提高该模型在一个给定人种上面的人脸识别性能。
团队信息 >>
团队名称:天才儿童
成员介绍:
李海:队长,华中科技大学。
李洋:队员,上海交通大学。
张靖茹:队员,中国农业大学。
比赛经验&干货分享
前言
这次比赛图像领域的一些大佬并没有参加,给了我们一次咸鱼翻身的机会。
一般这种图像赛最少2张卡,4张卡以上最佳,实验室或者公司应该有这种硬件条件,这也是相对于表格结构数据比赛的门槛。
拿到特等奖完全是意料之外的事情,八分运气在里面。要知道优秀的队伍很多,比我们强的也不少。
技术之外的秘籍这种事情你认为有就有,认为没有就没有,只要相信自己的本心努力就好。
方案描述
接下来结合PPT描述本方案,女神镇楼:
我们可以看到训练集中白种人数量远超过其他人种,而测试集中各人种数量均衡。
可以看到数据集具有多样性。
第4种是我们发现的主办方创造数据集的方法,如果有时间的话,可以根据这个思路继续做图像增强,训练一个使用主办方方法增强的模型,效果应该会更好。
图像增强的方法非常多,大概包括这些方法:水平翻转、旋转、平移、缩放、直方图、平滑、滤波、色度抖动、锐度抖动。而且这些方法相互组合效果也不一样。除了线上提交以外,可以先建立几种指标线下判断。
有监督模型
模型使用arcface效果最好,人脸识别方面就是arcface一枝独秀了,其他模型在比赛中效果有差距但可以用于模型融合。
损失函数采用Focal Loss最佳。
模型的骨干网络使用Resnet系列,当然还融合了其他的网络包括IResnet,Resnext,Densenet.
无监督模型
然后我们还使用了无监督的模型进行后处理。
ECCV2018的论文《基于模型共识的大规模无标注数据标签传播》。其假设已经有了少量的标注图像,对于大量的未标注图像,生成其样本标签对,可以称其为半监督算法。
我们对其进行了改进,最终效果是一种无监督的人脸聚类模型。人脸聚类的方法不少,第二名也使用了类似聚类的方法。我们选择这个模型的主要原因是因为快,当然第二名的方法也许精度更高。
人种后验概率修正,利用人种的信息对预测概率进行修正。
当获得了聚类ID后:
(1)对同一类ID判断为同一个人,
(2)不同类ID判断为不同人,
(3)对于没有划分的人,取原概率。
模型融合
这里再介绍一些模型:
这个模型分数并不高,但融合效果较好。
这个是我们搭建的模型,实际方案没有采用,这里提供给大家思路。
融合方案如下:
图中是15种模型,低分模型的权重已经是1%左右了,提升只是万分位的,如果不刷分只需要效果最好的5种模型就可以了。
得到最终方案:
下面的代码给出了所有图像增强方法与分数最高的3种12个有监督模型。
https://github.com/themostnewone/2019ccf
代码使用AI指北的小暇米的框架,在此表示感谢。
https://discussion.datafountain.cn/questions/1904/answers/22795
同时感谢你的阅读,欢迎交流讨论。
感谢天才儿童团队的分享
欢迎访问DataFountain官网https://www.datafountain.cn/
了解更多大赛资讯
相关阅读:
人脸技术交流群
关注最新最前沿的人脸检测、识别、跟踪、对齐、重建技术,扫码添加CV君拉你入群,(如已为CV君其他账号好友请直接私信)
(请务必注明:人脸)
喜欢在QQ交流的童鞋,可以加52CV官方QQ群:805388940。
(不会时时在线,如果没能及时通过验证还请见谅)
长按关注我爱计算机视觉