爬虫学习日记
参考博客:https://blog.csdn.net/aaronjny/article/details/77945329
由于想要学习爬虫,就从头搜索了很多东西,做个笔记顺便分享下
我用的是pycharm+py3.6
1、获取网页
首先需要requests库,在pycharm的settings里面比较容易就能下载,用pip install也可以,在这里就不赘述了
import requests
resp = requests.get("https://www.google.com")#获取网址首页
print(resp)#直接输出的是状态码,200代表正常,404明显是网址并不存在了,301是重定向
print(resp.content)#输出未经解析的网页源码
有点不太清楚,但是效果就是这样
2、对网页进行解析,我用的是beaufulsoup+lxml
import requests
from bs4 import BeautifulSoup
resp=requests.get('https://www.google.com') #请求首页
print(resp) #打印请求结果的状态码
print(resp.content) #打印请求到的网页源码
bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象,方便操作
a_list=bsobj.find_all('a') #获取网页中的所有a标签对象
for a in a_list:
print(a.get('href')) #打印a标签对象的href属性,即这个对象指向的链接地址
会出现很多链接,因为网页中的'a'标签对象很多就是链接
如果我们想新建一个文件存储这些链接的话
import requests
from bs4 import BeautifulSoup
resp=requests.get('https://www.google.com') #请求首页
print(resp) #打印请求结果的状态码
print(resp.content) #打印请求到的网页源码
bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象,方便操作
a_list=bsobj.find_all('a') #获取网页中的所有a标签对象
text = ''#创建一个空字符串
for a in a_list:
href = a.get('href')
text += href+'\n'
with open('url.txt', 'w') as f:
f.write(text)
3、接下来我们去抓取网页中的图片(正经一点,我们抓水墨风景图吧http://www.3lian.com/gif/2011/11-29/21276.html)
下次吧,今天有点累了