python基础学习第五课,大批量获取网页数据基础,requests模块尝试

2018-02-19 滑稽怪 趣说python

(如果有帮助可以关注我的微信公众号 趣说python 会陆续公布django和爬虫专栏哦)


python基础学习第五课,大批量获取网页数据基础,requests模块尝试

其实本来这里按常规思路呢,我们要给大家讲for循环的

但是作为一个不按常理出牌的公众号,我准备先讲点有意思的东西


一 扩展

这个已经超过了我们当前的进度了啦,我为什么要提前讲这个模块呢?

现在是一个大数据的年代,网上有很多数据都是有所价值的

但是只有数据达到一定数量级,比如几十万,才会有所价值


但是别人的数据是不会免费提供给我们的,我们如何获得数据呢,

那么我们可以利用python来大规模爬取它的网页,来获得数据,这就叫爬虫


这之间的获取网页,提取数据,存储,反爬虫措施的应对,数据量的提升如何保证效率,如何大规模爬取,构造了一个特殊的岗位,爬虫工程师


以后我会推出一个专题来讲这方面,我们可以爬电影,爬淘宝,爬斗鱼弹幕,爬亚马逊,爬豆瓣,这些都会在以后讲到


这里我们来介绍一个起点吧,requests模块

-----------------------------------------



一 下载包环节

我们平常都是用浏览器访问网页的,那我们能不能通过python来访问网页呢?

有的,叫做requests模块,什么叫做模块呢?模块就是别人写好的代码

我们下载下来,使用,让我们用简单的方法实现复杂的功能咯


python基础学习第五课,大批量获取网页数据基础,requests模块尝试

我们点击这个哦

python基础学习第五课,大批量获取网页数据基础,requests模块尝试

进入这里哦

点击右边那个绿色的+号


python基础学习第五课,大批量获取网页数据基础,requests模块尝试

查询到requests,点击左下角的install 等待安装完成即可


二 导入模块

python基础学习第五课,大批量获取网页数据基础,requests模块尝试

这样既可哦 

requests是一个模块,一个很大的包裹,里面会有很多很多的方法,

使用模块里面的方法

requests.method_name()

python基础学习第五课,大批量获取网页数据基础,requests模块尝试


这样就可以看到我们获得的页面了啦


但是如果你执行下面的语句

python基础学习第五课,大批量获取网页数据基础,requests模块尝试


就会拿到这种数据啦,这是因为知乎屏蔽掉了我们的爬虫哦

这个我们后期爬虫教程会讲啦,让我们回归基础吧,只有基础达到了,才能做有意思的事情