深度学习数据集处理（一）获取公开数据集
分类:
文章
•
2023-12-19 17:01:10
深度学习数据集处理系列
本文介绍一些常用的深度学习关于图像处理方面的常用公开数据集的下载链接，以及数据集的简单介绍。
-
MNIST数据集MNIST是一个入门级的计算机视觉数据集，它包含各种手写数字图片：
- 相当于深度学习入门的“Hello World!”。下载下来的数据集被分成两部分：60000行的训练数据集（mnist.train）和10000行的测试数据集（mnist.test）。非常适合初学者入门深度学习，在tensorflow中文文档中有MNIST的教程！
-
CIFAR10数据集适用于对Tensorflow有丰富经验的用户，并假定用户有机器学习相关领域的专业知识和经验。也就是说你对深度学习有了相当的基础后，来学习CIFAR10利用卷积神经网络的相关的训练的步骤，就不会感觉那么的困难了。
- CIFAR10数据集着重于建立一个规范的网络组织结构，训练并进行评估，为建立更大规模更加复杂的模型提供一个范例。选择CIFAR-10是因为它的复杂程度足以用来检验TensorFlow中的大部分功能，并可将其扩展为更大的模型。与此同时由于模型较小所以训练速度很快，比较适合用来测试新的想法，检验新的技术。具体教程可以参考Tensorflow中文文档。
-
ImageNet数据集ImageNet是一个按照WordNet层次结构（目前只有名词）组织的图像数据库，其中层次结构的每个节点都由成百上千个图像来描述。目前，平均每个节点有500多个图像。希望Imagenet将成为研究人员、教育工作者、学生和所有分享我们对图片的热情的人的有用资源。
- 目前VGG、ALEXNET、MobileNet、ResNet等系列的网络都会选择利用ImageNet的数据集进行网络的性能测试，在它们的Paper上一般会比较在ISLVRC（ImageNet子集）上1000分类的性能如何·，ImageNet数据集较大，大约150G。
- 作为标准数据集，Pascal voc2007 是衡量图像分类识别能力的基准。vgg、faster-rcnn、yolo -v1、 yolo-v2、SSD都以此数据集为最为演示样例。VOC数据集共包含：训练集（5011幅），测试集（4952幅），共计9963幅图，共包含20个种类。
- fashion-MNIST包含60,000个训练图像和10,000个测试图像。它是一个类似MNIST的时尚产品数据库。开发人员认为MNIST已被过度使用，因此他们将其作为该数据集的直接替代品。每张图片都以灰度显示，并与10个类别的标签相关联。
- 包括10类，总共70000张图片。
- Open Images Dataset是一个包含超过900万个链接图像的数据集。其中包含9,011,219张图像的训练集，41,260张图像的验证集以及125,436张图像的测试集。它的图像种类跨越数千个类别，且有图像层级的标注框进行注释。
- 大小为500G，9,011,219张超过5k标签的图像。
- 该数据集主要有的特点如下：（1）Object segmentation（2）Recognition in Context（3）Multiple objects per image（4）More than 300,000 images（5）More than 2 Million instances（6）80 object categories（7）5 captions per image（8）Keypoints on 100,000 people。
- 数据集以scene understanding为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的segmentation进行位置的标定。图像包括91类目标，328,000影像和2,500,000个label。
- 主要解决3个问题：目标检测，目标之间的上下文关系，目标的2维上的精确定位。
一些其他数据集下载地址（不做介绍。。。）
