Python开发爬虫环境搭建



 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​​收到命令,python开发爬虫脚本,那么我们准备一下。

https://www.python.org/download/releases/2.6.6/

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​http://www.cnblogs.com/Realh/archive/2010/10/04/1841907.html

按照这篇文档安装:

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​记住

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​接受

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​确定:

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​然后

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

配置PyDev插件 
在Window菜单中选Preference,

1、PyDev->Interpreter - Python,New一个Python解释器,填上解释器名字和路径,路径选相应的python.exe。 

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

设定

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​​以下几步Python 3.x必选,Python 2随意。我比较习惯Unicode,所以一次性在这儿设定了。

2、General->Editors->Text Editors->Spelling,Encoding改成Other:UTF-8

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​3、General->Workspace,Text file encoding改成Other:UTF-8

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​4、找到安装目录下的\plugins\org.python.pydev.debug_x.x.x.yyyymmddhh\pysrc\pydevd.py, 

920行的 encoding = Non 改成 encoding = "UTF-8",保存

至此,PyDev的配置就完成了。

 Python开发爬虫环境搭建移除集成完毕

测试下

File->New->Project,选PyDev下的PyDev Project,Grammer和Interpreter选相应的版本,Finish。

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​在PyDev Package Explorer的项目上右键,New->PyDev Module,随便写个名字,Finish。

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​然后随便写几行代码,Run

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​在弹出的对话框中选择Python Run ,

但是发现:

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

  File "D:\workspace-python\PyTest\test\test.py", line 2

SyntaxError: Non-ASCII character '\xe5' in file D:\workspace-python\PyTest\test\test.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

 出现问题的原因:程序中的编码错误,python默认是acii模式,没有支持utf8,代码的第3行中出现了“年 月 日”这几个汉字,所以出现了错误。

  解决方法:源代码文件第一行添加:#coding:utf-8,这样就可以避免了。 

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

这样就解决了​

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

再看一个报错:

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​  File "D:\workspace-python\PyTest\secondPython\secondPython.py", line 11

    print 'helloworld'

    ^

IndentationError: unexpected indent

  都知道python是对格式要求很严格的,写了一些python但是也没发现他严格在哪里,今天遇到了IndentationError: unexpected indent错误才知道他是多么的严格。 
    以后遇到了IndentationError: unexpected indent你就要知道python编译器是在告诉你“Hi,老兄,你的文件里格式不对了,可能是tab和空格没对齐的问题,你需要检查下tab和空格了”。 

好了,例子也搞定了,我们开始下一篇,开发爬虫示例。

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​​收到命令,python开发爬虫脚本,那么我们准备一下。

https://www.python.org/download/releases/2.6.6/

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​http://www.cnblogs.com/Realh/archive/2010/10/04/1841907.html

按照这篇文档安装:

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​记住

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​接受

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​确定:

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​然后

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

配置PyDev插件 
在Window菜单中选Preference,

1、PyDev->Interpreter - Python,New一个Python解释器,填上解释器名字和路径,路径选相应的python.exe。 

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

设定

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​​以下几步Python 3.x必选,Python 2随意。我比较习惯Unicode,所以一次性在这儿设定了。

2、General->Editors->Text Editors->Spelling,Encoding改成Other:UTF-8

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​3、General->Workspace,Text file encoding改成Other:UTF-8

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​4、找到安装目录下的\plugins\org.python.pydev.debug_x.x.x.yyyymmddhh\pysrc\pydevd.py, 

920行的 encoding = Non 改成 encoding = "UTF-8",保存

至此,PyDev的配置就完成了。

 Python开发爬虫环境搭建移除集成完毕

测试下

File->New->Project,选PyDev下的PyDev Project,Grammer和Interpreter选相应的版本,Finish。

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​在PyDev Package Explorer的项目上右键,New->PyDev Module,随便写个名字,Finish。

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​然后随便写几行代码,Run

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​在弹出的对话框中选择Python Run ,

但是发现:

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

  File "D:\workspace-python\PyTest\test\test.py", line 2

SyntaxError: Non-ASCII character '\xe5' in file D:\workspace-python\PyTest\test\test.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

 出现问题的原因:程序中的编码错误,python默认是acii模式,没有支持utf8,代码的第3行中出现了“年 月 日”这几个汉字,所以出现了错误。

  解决方法:源代码文件第一行添加:#coding:utf-8,这样就可以避免了。 

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

这样就解决了​

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

再看一个报错:

 Python开发爬虫环境搭建移除点击此处添加图片说明文字

​  File "D:\workspace-python\PyTest\secondPython\secondPython.py", line 11

    print 'helloworld'

    ^

IndentationError: unexpected indent

  都知道python是对格式要求很严格的,写了一些python但是也没发现他严格在哪里,今天遇到了IndentationError: unexpected indent错误才知道他是多么的严格。 
    以后遇到了IndentationError: unexpected indent你就要知道python编译器是在告诉你“Hi,老兄,你的文件里格式不对了,可能是tab和空格没对齐的问题,你需要检查下tab和空格了”。 

好了,例子也搞定了,我们开始下一篇,开发爬虫示例。