1、昨儿获取到的是所有a标签的网页数据

但我发现里面有网页头部，尾部等无效数据（比如“首页”等导航），于是，想找到更精准的数据。

我发现了返回有效数据的class属性是‘vT-srch-result’，在页面中唯一

去找了BeatifulSoup中find_all的用法，支持标签和属性共同查找，代码如下

obj=bs.find_all('div',{'class':'vT-srch-result'})

此时，返回的结果中，就是精准的返回搜索结果的数据部分；

2、但差距是，仍然是网页数据，想获取到网页数据中的标题和链接

所以用在此用find_all，来处理obj[0]数据，得到了其中的所有a标签，代码如下

data=obj[0].find_all('a')

打印出data，发现已经是比较精准的数据了

特征是标签的href属性是‘javascript:void(0)’

于是想到了遍历列表，用if判断a标签的属性值不等于‘javascript:void(0)’，则存到数组中

这里有3个细节需要注意：

1）获取href的属性值的方法

i['href']

2）if条件语句最后不是用{}了，改了:

3) 获取到的文本部分，有回车、换行、空格（\r\n ）,需要去掉空格，使用的是strip()

于是，代码如下

projects=[]

# 循环处理数据

for i in data:

if(i['href']!='javascript:void(0)'):

projects.append([i.text.strip(), i['href']])

最终，得到的projects的数据如下

Day 21/100 Python如何清洗解析到的网页数据？

嵌套的二维数组

以上

参考链接