python虚拟环境的配置及使用(结合python虚拟环境的安装和配置)

1,配置虚拟环境所需的

    打开配置虚拟环境的文件夹

    把下载的Twisted和Twisted-17.9.0.dist-info放入该文件中

    

    打开cmd 输入workon scrapy进入虚拟环境中

    安装pypiwin32

    

 运行scrapy的时候，如果没有安装pypiwin32，会出异常。

    

    报错了,是因为以下几个没有安装

 这几个需要单独pip install 进行安装

    pip install constantly

    pip install Automat

    pip install hyperlink 

    pip install incremental

    pip install zope.interface

     以上安装完毕之后，再安装scrapy:  pip install scrapy

     放入使用的虚拟环境

    

2,使用

    打开pycharm

    找到 file --> settings -->  Projecct scrapypro　--＞ project interpreter

    找到你所配置的虚拟环境的地址:如图所示

    

3,用此方式创建文件夹

    (1)workon scrapy :进入爬虫虚拟环境

    (2) cd 路径:进入你创建文件的路径

    (3) scrapy startproject TestSpider:创建爬虫项目TestSpider

    (4) cd TestSpider :进入爬虫项目根目录

    (5) scrapy genspider baidu baidu.com:创建爬虫baidu.py文件

        参数1 baidu:作用到两个地方 文件名baidu.py   name="baidu"

        参数2 baidu.com:爬虫的起始url     start_urls = []