python爬虫爬取百度图片
我们平时经常会有一些搜集数据的需要，尤其是图片数据。如果一个一个从网上找再下载下来实在是太麻烦了，这么繁琐的工作不如交给脚本去做。于是我写了一个简单的PYTHON3爬取百度图片的爬虫，github: https://github.com/plutojia/crawler-for-baiduImage
我们先打开百度图片看看它到底是什么样子的：
在其中搜索“美女”：
我们在浏览这些图片时可以发现，当你下拉滚动条时，又会有新的图片出现，而这些新的图片并不是一开始就加载好的，而是随着你的向下浏览不断请求刷新的，这就说明百度图片这种瀑布流式加载使用了Ajax技术，那么我们看看它的Ajax请求到底是什么样的。
在搜索美女的页面下，打开chrome浏览器的开发者工具，选择Network选项卡，再选择Network选项卡里的XHR选项卡，然后把网页向下翻，多翻几页，应该会看到请求出现，如图所示：
双击点开其中的任意请求看看：
发现请求url是https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E7%BE%8E%E5%A5%B3&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=%E7%BE%8E%E5%A5%B3&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&cg=girl&pn=120&rn=30&gsm=78&1537365676312=
前面的https://image.baidu.com/search/acjson?还挺清楚，后面的一长串是什么玩意啊？别急，继续往下看。在开发者工具中继续往下查看，可以看到有这么一段：
这里的Query String Parameters其实就是我们的请求信息，其中好多都是固定的，需要注意的只有几个：queryWord和word是你的搜索关键字，rn代表一页有多少图，一般取30，pn代表已经显示了多少图，取30*n即可。这样我们对请求的分析就搞定啦，写个代码试一下
首先先import一些常用模块
-
from urllib.parse import urlencode
-
import requests
-
import re
-
import os
-
-
def get_page(offset):
-
params = {
-
'tn': 'resultjson_com',
-
'ipn': 'rj',
-
'ct':'201326592',
-
'is':'',
-
'fp': 'result',
-
'queryWord': '帅哥',
-
'cl': '2',
-
'lm': '-1',
-
'ie': 'utf-8',
-
'oe': 'utf-8',
-
'adpicid':'',
-
'st': '-1',
-
'z':'',
-
'ic': '0',
-
'word': '帅哥',
-
's':'',
-
'se':'',
-
'tab':'',
-
'width':'',
-
'height':'',
-
'face': '0',
-
'istype': '2',
-
'qc':'',
-
'nc': '1',
-
'fr':'',
-
'expermode':'',
-
'cg': 'girl',
-
'pn': offset*30,
-
'rn': '30',
-
'gsm': '1e',
-
'1537355234668':'',
-
}
-
url = 'https://image.baidu.com/search/acjson?' + urlencode(params)
-
try:
-
response = requests.get(url)
-
if response.status_code == 200:
-
return response.json()
-
except requests.ConnectionError as e:
-
print('Error', e.args)
-
-
if __name__=='__main__':
-
json = get_page(1)
-
print(json)
-
运行以上代码，输出即为响应的JSON形式，若能成功输出，则请求正确。我们还需要从其中获得图片的地址，过程如下：
在开发者工具中，选择Preview,点开其中的data，发现一堆0，1，2，3....这些就代表了各个图片及其信息，我们点开一个看看，比如点开0：
这里面的objURL就是图片的真实地址了，而且是未经压缩的大图哦！等等，这地址怎么看着这么奇怪，这是因为百度对其进行了加密，解密只需要一个函数：
-
def baidtu_uncomplie(url):
-
res = ''
-
c = ['_z2C$q', '_z&e3B', 'AzdH3F']
-
d= {'w':'a', 'k':'b', 'v':'c', '1':'d', 'j':'e', 'u':'f', '2':'g', 'i':'h', 't':'i', '3':'j', 'h':'k', 's':'l', '4':'m', 'g':'n', '5':'o', 'r':'p', 'q':'q', '6':'r', 'f':'s', 'p':'t', '7':'u', 'e':'v', 'o':'w', '8':'1', 'd':'2', 'n':'3', '9':'4', 'c':'5', 'm':'6', '0':'7', 'b':'8', 'l':'9', 'a':'0', '_z2C$q':':', '_z&e3B':'.', 'AzdH3F':'/'}
-
if(url==None or 'http' in url):
-
return url
-
else:
-
j= url
-
for m in c:
-
j=j.replace(m,d[m])
-
for char in j:
-
if re.match('^[a-w\d]+$',char):
-
char = d[char]
-
res= res+char
-
return res
只需将objURL作为参数传进去就能返回图片真实地址。那么现在我们只需要写一个能分析响应从而得到objURL的函数，再将objURL变成真实地址，最后将图片下载下来就好了。已经没什么难的了，直接上完整代码：
-
from urllib.parse import urlencode
-
import requests
-
import re
-
import os
-
save_dir='baidutu/'
-
-
def baidtu_uncomplie(url):
-
res = ''
-
c = ['_z2C$q', '_z&e3B', 'AzdH3F']
-
d= {'w':'a', 'k':'b', 'v':'c', '1':'d', 'j':'e', 'u':'f', '2':'g', 'i':'h', 't':'i', '3':'j', 'h':'k', 's':'l', '4':'m', 'g':'n', '5':'o', 'r':'p', 'q':'q', '6':'r', 'f':'s', 'p':'t', '7':'u', 'e':'v', 'o':'w', '8':'1', 'd':'2', 'n':'3', '9':'4', 'c':'5', 'm':'6', '0':'7', 'b':'8', 'l':'9', 'a':'0', '_z2C$q':':', '_z&e3B':'.', 'AzdH3F':'/'}
-
if(url==None or 'http' in url):
-
return url
-
else:
-
j= url
-
for m in c:
-
j=j.replace(m,d[m])
-
for char in j:
-
if re.match('^[a-w\d]+$',char):
-
char = d[char]
-
res= res+char
-
return res
-
-
def get_page(offset):
-
params = {
-
'tn': 'resultjson_com',
-
'ipn': 'rj',
-
'ct':'201326592',
-
'is':'',
-
'fp': 'result',
-
'queryWord': '帅哥',
-
'cl': '2',
-
'lm': '-1',
-
'ie': 'utf-8',
-
'oe': 'utf-8',
-
'adpicid':'',
-
'st': '-1',
-
'z':'',
-
'ic': '0',
-
'word': '帅哥',
-
's':'',
-
'se':'',
-
'tab':'',
-
'width':'',
-
'height':'',
-
'face': '0',
-
'istype': '2',
-
'qc':'',
-
'nc': '1',
-
'fr':'',
-
'expermode':'',
-
'pn': offset*30,
-
'rn': '30',
-
'gsm': '1e',
-
'1537355234668':'',
-
}
-
url = 'https://image.baidu.com/search/acjson?' + urlencode(params)
-
try:
-
response = requests.get(url)
-
if response.status_code == 200:
-
return response.json()
-
except requests.ConnectionError as e:
-
print('Error', e.args)
-
-
def get_images(json):
-
if json.get('data'):
-
for item in json.get('data'):
-
if item.get('fromPageTitle'):
-
title = item.get('fromPageTitle')
-
else:
-
title='noTitle'
-
image = baidtu_uncomplie(item.get('objURL'))
-
if(image):
-
yield {
-
'image': image,
-
'title': title
-
}
-
-
def save_image(item,count):
-
try:
-
response = requests.get(item.get('image'))
-
if response.status_code == 200:
-
file_path = save_dir+'{0}.{1}'.format(str(count), 'jpg')
-
if not os.path.exists(file_path):
-
with open(file_path, 'wb') as f:
-
f.write(response.content)
-
else:
-
print('Already Downloaded', file_path)
-
except requests.ConnectionError:
-
print('Failed to Save Image')
-
-
def main(pageIndex,count):
-
json = get_page(pageIndex)
-
for image in get_images(json):
-
save_image(image, count)
-
count += 1
-
return count
-
if __name__=='__main__':
-
if not os.path.exists(save_dir):
-
os.mkdir(save_dir)
-
count=1
-
for i in range(1,20):
-
count=main(i,count)
-
print('total:',count)
最后爬下来的图片会以1，2，3，4~命名，最终输出图片总数。