ImgNet Top-5
在看一些深度学习图像分类文献的时候,经常提到ImageNet Top-5错误率降到了15%。它是什么意思呢?
top1就是你预测的label取最后概率向量里面最大的那一个作为预测结果,你的预测结果中概率最大的那个类必须是正确类别才算预测正确。而top5就是最后概率向量最大的前五名中出现了正确概率即为预测正确。
ImageNet 项目
ImageNet 项目是一个用于物体对象识别检索大型视觉数据库。截止2016年,ImageNet
已经对超过一千万个图像的url进行手动注释,标记图像的类别。在至少一百万张图像中还提供了边界框。自2010年以来,ImageNet 举办一年一度的软件竞赛,叫做 ImageNet 大尺度视觉识别挑战(ImageNet Large Scale Visual Recognition Challenge,ILSVRC)。主要内容是通过算法程序实现正确分类和探测识别物体与场景,评价标准就是Top-5
错误率。
Top-5 错误率
ILSRVRC(ImageNet 图像分类大赛) 比赛设置如下:
1000类图像分类问题,训练数据集126万张图像,验证集5万张,测试集10万张(标注未公布)。
评价标准采用 top-5 错误率——即对一张图像预测5个类别,只要有一个和人工标注类别相同就算对,否则算错。
近几年ILSRVRC 比赛结果如下表所示:
结果公布时间 机构top-5错误率(%) 方法
2015.2.11 Google 4.82 http://arxiv-web3.library.cornell.edu/abs/1502.03167
2015.2.6 MSRA 4.94 http://arxiv.org/abs/1502.01852
2015.2.6 Baidu 5.33 http://arxiv.org/abs/1501.02876
2015.1.13 Baidu 5.98 ——
2014.8.18 Google 6.66 http://arxiv.org/abs/1409.4842
2014.8.18 Oxford 7.33 http://arxiv.org/abs/1409.1556
2013.11.14 NYU 11.7 http://arxiv.org/abs/1311.2901
2012.10.13 U.Toronto 16.4 http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf