Python PCcharm和Ssrape的安装和调试
之前看出好多关于使用Python爬虫的文章,但是都不怎么全,步骤不是很详细,对于我这种纯小白来说有点难,直到自己真正的安装 并且调试完,才知道内衣部都不是那么容易,过程中会出现很多问题,下面我将详细的说一下我碰到的问题,希望对大家有帮助。
一、所需工具
运行平台:window7
Python:Python3.4
联网(哈哈)
二、步骤
1、确认Python版本
在“开始”里输入cmd,调出“命令提示符”输入python,查看版本
2、下载Lxml、Twisted、Scrapy
进入http://www.lfd.uci.edu/~gohlke/pythonlibs/,根据Python版本下载相应的第三方库(一定要确认好版本!!!)
下载后,把这三个库放在一个文件夹中,例如C:\Users\Administrator\Desktop\scrapy
3、安装Lxml、Twisted、Scrapy
再次进入cmd,切换目录,输入cd C:\Users\Administrator\Desktop\scrapy
这时就可以进行安装了,依次输入下列命令:
a.pip3 install wheel
若为上图,则可进行下一步;若出现红色提醒,按照其提示操作(输入命令进行升级即可)
b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl
c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl
d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl
这样Scrapy就安装完成了,但还需要下载pywin32,网址为https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
4、安装pywin32
确认好版本下载即可,双击进行安装
进入Python,输入import win32com
若出现错误提示,则根据提示,去相应的目录下,新建文件夹,直到没有提示为止,说明已调试好!!!
此时已经安装好,可以进行爬虫
5、在PCcharm下打开scrapy
在cmd中切换目录至桌面,为了在桌面创建一个scrapy项目。输入scrapy startproject test1
此时说明已经创建好,可去桌面进行查看
然后打开PCcharm,选择open,在选择刚刚创建的文件test1即可。