Python PCcharm和Ssrape的安装和调试

       之前看出好多关于使用Python爬虫的文章,但是都不怎么全,步骤不是很详细,对于我这种纯小白来说有点难,直到自己真正的安装 并且调试完,才知道内衣部都不是那么容易,过程中会出现很多问题,下面我将详细的说一下我碰到的问题,希望对大家有帮助。

一、所需工具

运行平台:window7

Python:Python3.4

联网(哈哈)

二、步骤

1、确认Python版本

在“开始”里输入cmd,调出“命令提示符”输入python,查看版本

2、下载Lxml、Twisted、Scrapy

进入http://www.lfd.uci.edu/~gohlke/pythonlibs/,根据Python版本下载相应的第三方库(一定要确认好版本!!!)

下载后,把这三个库放在一个文件夹中,例如C:\Users\Administrator\Desktop\scrapy

3、安装Lxml、Twisted、Scrapy

再次进入cmd,切换目录,输入cd C:\Users\Administrator\Desktop\scrapy

这时就可以进行安装了,依次输入下列命令:

a.pip3 install wheel

Python PCcharm和Ssrape的安装和调试

若为上图,则可进行下一步;若出现红色提醒,按照其提示操作(输入命令进行升级即可)

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

这样Scrapy就安装完成了,但还需要下载pywin32,网址为https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

4、安装pywin32

确认好版本下载即可,双击进行安装

进入Python,输入import win32com

Python PCcharm和Ssrape的安装和调试

若出现错误提示,则根据提示,去相应的目录下,新建文件夹,直到没有提示为止,说明已调试好!!!

此时已经安装好,可以进行爬虫

5、在PCcharm下打开scrapy

在cmd中切换目录至桌面,为了在桌面创建一个scrapy项目。输入scrapy startproject test1

Python PCcharm和Ssrape的安装和调试

此时说明已经创建好,可去桌面进行查看

然后打开PCcharm,选择open,在选择刚刚创建的文件test1即可。