pytorch如何加载本地的数据集(例如MNIST/CIFAR10)
分类:
文章
•
2024-01-01 18:08:52
问题说明
- 由于pytorch首次加载MNIST或CIFAR10数据集时需要去外网下载,下载速度惊人。那么我们可以自己先把数据集下载下来,然后按照以下步骤直接加载本地数据集就行。
加载步骤
- 首先自己去下载MNIST或CIFAR数据集,存放到本地的某个文件夹中,如下图所示:
- 将数据集所在的文件夹路径复制下来,粘贴到浏览器中,按回车键打开。
-
在浏览器中打开该路径之后显示如下图:
- 然后将cifar.py或mnist.py中的url改成数据集所在的路径:
当前我的数据集所在的路径是:
E:\PycharmProjects\Learn\learn_pytorch\dataset
所以修改如下:
mnist.py

将原始的url路径都给注释掉了,换成了自己本地的路径,由于MNIST数据集有四个压缩包,所以有4个路径,后面的编码不用改,只要修改前面的url就可以了。
之后在下载数据集的时候,就会从本地去下载,速度很快,前提是浏览器别关了,下载成功之后再关掉。
cifar.py
修改的过程跟上面一样,如下所示:
- 注意:记得在路径后面添加上数据集压缩包的名字,否则下载的时候依旧会找不到,之前我以为只要数据集所在的文件夹路径就行了,忙活了半天一直出错。