Python 虚拟环境 python爬虫 scrapy框架
Python虚拟环境安装完成后如何创建项目:
先进入py3scrapy才能创建哦!(我安装的虚拟环境名字是py3scrapy)
用pycharm打开为
还需配置环境:
在setting中:
# Obey robots.txt rules
# Scrapy框架默认遵守 robots.txt 协议规则，robots规定了一个网站中，哪些地址可以请求，哪些地址不能请求。
# 默认是True，设置为False不遵守这个协议。
ROBOTSTXT_OBEY = False
--------------------------------------------------------------------
爬虫当然不能少了debug:
在baidu.py中打点
然后在根目录下建立debug.py(名字可以随便起)
写入下面是的两行: (baidu是你要进行爬虫的文件)
from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'baidu'])
如果你嫌麻烦的话,也可以直接在命令行敲 scrapy crawl baidu(其实每次都要敲命令, 有点麻烦,不建议用)
==================================================================
scrapy 文档 链接: https://doc.scrapy.org/en/latest/topics/architecture.html