爬虫：信息提取的一般方法

信息提取的一般方法

方法一：完整解析信息的标记形式，再提取关键信息。

XML JSON YAML

需要标记解析器 例如：bs4库的标签树遍历

优点：信息解析准确

缺点：提取过程繁琐，速度慢

 

方法二：无视标记形式，直接搜索关键信息。

搜索

对信息的文本查找函数即可

优点：提取过程简洁，速度快

缺点：提取结果准确性与信息内容相关

 

融合方法

融合方法：结合形式解析与搜索方法，提取关键信息。

XML JSON YAML 搜索

需要标记解析器及文本查找函数。

 

实例

提取HTML中所有URL链接

思路：1）搜索到所有<a>标签

            2）解析<a>标签格式，提取href后的链接内容。

>>> from bs4 import BeautifulSoup
>>> import requests
>>> r=requests.get("https://www.baidu.com/?tn=98012088_5_dg&ch=12")
>>> demo=r.text
>>> soup=BeautifulSoup(demo,"html.parser")
>>> for link in soup.find_all('a'):
	print(link.get('href'))