python爬虫：爬取拉勾网北京数据挖掘职位并分析
前言
拉勾网爬取北京数据挖掘职位的职位信息，并以CSV格式保存至电脑，之后进行数据清洗，生成词云，进行描述统计,最终得出结论。
1. 用到的软件包
Python版本： Python3.5
requests：下载网页
math：向上取整
time：暂停进程
pandas：数据分析并保存为csv文件
matplotlib：画图
statsmodels：统计建模
wordcloud、scipy、jieba：生成中文词云
pylab：设置画图能显示中文
2. 解析网页
打开Chrome，在拉勾网搜索北京市的“数据挖掘”职位，使用检查功能查看网页源代码，发现拉勾网有反爬虫机制，职位信息并不在源代码里，而是保存在JSON的文件里，因此我们直接下载JSON，并使用字典方法直接读取数据
抓取网页时，需要加上头部信息，才能获取所需的数据。
import requests
import math
import time
import pandas as pd
'''从网页获取JSON,使用POST请求,加上头部信息'''
def get_json(url,num): #
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
'Host': 'www.lagou.com',
'X-Anit-Forge-Code': '0',
'X-Anit-Forge-Token': 'None',
'X-Requested-With': 'XMLHttpRequest'
}
my_data = {
'first': 'true',
'pn': num,
'kd': '数据挖掘'
}
res = requests.post(url=url,headers = headers,data = my_data)
res.encoding = "utf-8"
page = res.json()
return page
在搜索结果的第一页，我们可以从JSON里读取总职位数，按照每页15个职位，获得要爬取的页数。再使用循环按页爬取，将职位信息汇总，输出为CSV格式
抓取结果如图：
3. 数据清洗
数据清洗占数据分析工作量的大头。在拉勾网搜索北京市的“数据挖掘”职位，结果得到426个职位。查看职位名称时，发现有24个实习岗位。由于我们研究的是全职岗位，所以先将实习岗位剔除。由于工作经验和工资都是字符串形式的区间，我们先用正则表达式提取数值，输出列表形式。工作经验取均值，工资取区间的四分位数值，比较接近现实。
print('数据分析师工资描述：\n{}'.format(df['月工资'].describe()))
4. 词云
我们将职位福利这一列的数据汇总，生成一个字符串，按照词频生成词云实现python可视化。以下是原图和词云的对比图，可见团队在职位福利里出现的频率最高，平台、福利、发展空间、弹性、六险次之。
背景图用的兔子的图片
5. 描述统计
我们来看工资的分布，这对于求职来讲是重要的参考：
工资在15-25K的职位最多，在25-35K的职位其次。
我们再来看职位在各区的分布：
数据分析职位有43.2%在东城区，有45.6%在海淀区，剩下少数分布在东西城区等。我们以小窥大，可知东城区和海淀区是北京市科技业的中心。
6. 完整代码
由于每次运行爬虫耗时约20分钟，而运行数据分析耗时几秒钟，我们将两部分的工作单独运行，以节省数据分析的时间。
import requests
import math
import time
import pandas as pd
'''从网页获取JSON,使用POST请求,加上头部信息'''
def get_json(url,num):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
'Host': 'www.lagou.com',
'X-Anit-Forge-Code': '0',
'X-Anit-Forge-Token': 'None',
'X-Requested-With': 'XMLHttpRequest'
}
my_data = {
'first': 'true',
'pn': num,
'kd': '数据挖掘'
}
res = requests.post(url=url,headers = headers,data = my_data)
res.encoding = "utf-8"
page = res.json()
return page
'''计算要抓取的页数'''
def get_page(total_cout):
# 每页15个职位,向上取整
# 拉勾网最多显示30页结果
page_num = math.ceil(total_cout/15)
if page_num>30:
page_num = 30
return page_num
'''''对一个网页的职位信息进行解析,返回列表'''
def page_lists(job_list):
page_info_list = []
for i in job_list:
job_info = []
job_info.append(i['companyFullName'])
job_info.append(i['companyShortName'])
job_info.append(i['companySize'])
job_info.append(i['financeStage'])
job_info.append(i['district'])
job_info.append(i['positionName'])
job_info.append(i['workYear'])
job_info.append(i['education'])
job_info.append(i['salary'])
job_info.append(i['positionAdvantage'])
page_info_list.append(job_info)
return page_info_list
def main():
page_1=[]
url = "https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false"
total_info = []
page_1 = get_json(url,1)
total_count = page_1['content']['positionResult']['totalCount']
page = get_page(total_count)
time.sleep(30)
for n in range(1,page+1):
page_info = []
page_num = get_json(url,n)
page_nums = page_num['content']['positionResult']['result']
page_info = page_lists(page_nums)
total_info += page_info
print('已经抓取第{}页, 职位总数:{}'.format(n, len(total_info)))
# 每次抓取完成后,暂停一会,防止被服务器拉黑
time.sleep(30)
df = pd.DataFrame(data = total_info ,columns = ['公司全名','公司简称','公司规模','融资阶段','区域','职位名称','工作经验','学历要求','工资','职位福利'])
df.to_csv("D:/BeiJing.csv",index = False)
print("所有信息保存在D:/BeiJing.csv")
if __name__== "__main__":
main()
#================================================================
#================================================================
import pandas as pd
import matplotlib.pyplot as plt
import statsmodels.api as sm
from wordcloud import WordCloud
from scipy.misc import imread
import jieba
from pylab import mpl
""" 使matplotlib模块能显示中文 不会哈哈"""
mpl.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体
mpl.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题
# 读取数据
df = pd.read_csv("D:/BeiJing.csv",encoding = "gbk")
# 数据清洗,剔除实习岗位
df.drop(df[df['职位名称'].str.contains('实习')].index, inplace=True)
# 由于CSV文件内的数据是字符串形式,先用正则表达式将字符串转化为列表,再取区间的均值
pattern = '\d+'
df['工作年限'] = df['工作经验'].str.findall(pattern)
avg_work_year = []
for i in df['工作年限']:
if len(i)==2:
avg_work_year.append(sum([int(j) for j in i])/2)
elif len(i)==1:
avg_work_year.append(int(''.join(i)))
else:
avg_work_year.append(0)
df['经验'] = avg_work_year
""" 将字符串转化为列表,再取区间的前25%，比较贴近现实 """
df['salary'] = df['工资'].str.findall(pattern)
avg_salary = []
for k in df['salary']:
int_list = [int(n) for n in k]
avg_wage = int_list[0]+(int_list[1]-int_list[0])/4
avg_salary.append(avg_wage)
df['月工资'] = avg_salary
""" 描述统计 """
print('数据分析师工资描述：\n{}'.format(df['月工资'].describe()))
plt.hist(df["月工资"],bins = 16)
plt.xlabel("月工资千元")
plt.ylabel("频数")
plt.title("月工资直方图")
plt.savefig("D:/BeiJing/salary.jpg")
plt.show()
"""" 区域汇总 """
count = df["区域"].value_counts()
"""绘图 """
plt.pie(count, labels = count.keys(),labeldistance=1.4,autopct='%2.1f%%')
plt.axis('equal') # 使饼图为正圆形
plt.legend(loc='upper left', bbox_to_anchor=(-0.1, 1))
plt.savefig("D:/BeiJing/local.jpg")
plt.show()
"""绘制词云,将职位福利中的字符串汇总 """
text = ''
for line in df['职位福利']:
text += line
"""使用jieba模块将字符串分割为单词列表 """
cut_text = ' '.join(jieba.cut(text))
color_mask = imread('D:/BeiJing/aaa.jpg') #设置背景图
cloud = WordCloud(
font_path = 'C:\Windows\Fonts\STSONG.ttf',
background_color = 'white',
mask = color_mask,
max_words = 1000,
max_font_size = 100
)
word_cloud = cloud.generate(cut_text)
# 保存词云图片
word_cloud.to_file('D:/BeiJing/cloud.jpg')
plt.imshow(word_cloud)
plt.axis('off')
plt.show()
df['学历要求'] = df['学历要求'].replace('不限','大专') #实证统计,将学历不限的职位要求认定为最低学历:大专
dummy_edu = pd.get_dummies(df['学历要求'],prefix = '学历') #学历分为大专\本科\硕士,将它们设定为虚拟变量
df_with_dummy = pd.concat([df['月工资'],df['经验'],dummy_edu],axis = 1) # 构建回归数组
""" 建立多元回归模型 """""
y = df_with_dummy['月工资']
X = df_with_dummy[['经验','学历_大专','学历_本科','学历_硕士']]
X=sm.add_constant(X)
model = sm.OLS(y,X)
results = model.fit()
print('回归方程的参数：\n{}\n'.format(results.params))
print('回归结果：\n{}'.format(results.summary()))
参考：https://blog.csdn.net/danspace1/article/details/80197106