python 3.6 scrapy :Windows环境下的虚拟环境安装和配置
在命令行窗口输入 pip install virtualenv
我们都知道,使用easy_install和pip来安装第三方库非常的方便,但是总会因为某些原因导致访问官方的pypi很不稳定,然后导致下载的速度特别慢,甚至是访问不了,这就让人很蛋疼了。
为了解决这个问题,在这里推荐使用国内的镜像源,尤其推荐的是python的豆瓣源https://pypi.douban.com/simple/
举例使用:
pip install -i https://pypi.douban.com/simple/ django
6.8MB大小的Django很快就能下载完了!
接下来就是新建虚拟环境,在命令行窗口输入
virtualenv scrapytest
这样就会把虚拟环境新建到当前的目录路径之下。在新建的scrapytest文件夹下,放的就是python的一些包了
接下来跳转到该路径下 cd C:\Users\ME\scrapytest\Scripts
进去后,我们继续在虚拟环境下输入activate.bat,如此就可进入虚拟环境了!如果出现了(),也就说明进入了虚拟环境。
小技巧:如果是要变换python的版本,可以这样在命令行窗口输入:
例如我想进入的是python3.6版本的,virtualenv -p C:\Python36\Python36-32\python.exe scrapypy3
因为以上的步骤实在是过于麻烦,好在python的包实在是功能强大。在此需要安装一个虚拟环境的包,通过简单的几个命令就能马上进入到虚拟环境中了。不信?那我们试试看!
首先先退出虚拟环境,deactivate.bat
根据以下版本输入
python2:pip install virtualenvwrapper
python3:pip install virtualenvwrapper-win
然后输入workon,就可以看到以下列举的所有虚拟环境
接下来输入mkvirtualenv py3scrapy 来创建一个新的虚拟环境,等待一小会,就会自动进入新创建的虚拟环境中了
此时如果想要退出,直接输入deactivate。想进入的话,输入workon py3scrapy
温馨提示,注意命令的正确输入!!!
接下来如果还想要在这虚拟环境中安装一些包的话,直接按照正常的Windows命令窗口安装即可
例如下图:
但是很不幸地还是中招了,报错。在上面这图里我们要记住的一个网址https://www.lfd.uci.edu/~gohlke/pythonlibs/,把他粘贴复制,往往我们安装包如果出错的话,都可以在这个网址找到一些对应的版本。
然后找到lxml的相关版本,这里选择的是3.6版本的64位,等待下载。
下载完之后将文件放入scripts文件夹中,然后新开一个命令行窗口,进入该文件夹后再进入虚拟环境,然后再安装这个包。结果发现错误,原来要使用的是32位的。所以在下载前看清楚自己需要多少位的!
此时再回到原来的命令行窗口,安装scrapy就不会出错了
创造一个在python3版本的虚拟环境,mkvirtualenv --python=C:\Python36\Python36-32\python.exe pyscrapy