小项目-开篇:为找工作而写

项目背景:

辞职几个月在家专研python,已有小成,决定出去找工作,又苦于自己是半路出家的码农,没有什么项目经验,于是乎决定自己写个项目,这个为了找工作而写找工作项目应运而生。

需求探知:

需求是啥?找工作啊~
我们先来分析一下,对工作的需求:1、工资是否够花 ;2、工作内容是否合适,工作时长;3、公司运营情况(发展前景);4、公司福利如何(显性:五险一金,隐性:妹子多么等等);5、工作地点;6、离家远近(周边租房是否方便)等等

数据获取:

找工作上赶集网啊~
来,我先讲讲为啥选择用智联招聘,其实也没啥,就是感觉正规一点,以前也是用智联而已。
工资啊,工作内容啊,公司福利啊,工作地址啊,都可以找上面靠爬虫抓取到,公司运营情况的话可以从天眼查,企查查上获取,租房的相关数据我选的搜房网(房天下)
工作地点:北京

工具使用:

小项目-开篇:为找工作而写

anaconda+pycharm 不用说了吧,用过的都说好,pycharm官网下载,jupyter notebook anaconda自带 ,anaconda百度搜索清华镜像的下载比较快,数据库的话要用的MongoDB 和 redis,git不谈了还没用的赶紧用起来,网上教程很多。
python库:基本的anaconda上都有,爬虫相关的 beautifulsoup,scrapy,scrapy-redis,pymongo,threading,画图的 dash,plotly
dash,plotly安装如下:

pip install dash==0.19.0 # The core dash backend
pip install dash-renderer==0.11.1 # The dash front-end
pip install dash-html-components==0.8.0 # HTML components
pip install dash-core-components==0.15.2 # Supercharged components
pip install plotly –upgrade # Latest Plotly graphing library

数据分析

我会根据自己的对工资、公司、工作环境等的效用进行评分,每一个岗位都会有一个得分,进而用作我找工作的指标;公司周边的租房信息用作辅助。
话不多说,先上成果图:
小项目-开篇:为找工作而写
这个是租房信息图,我按每月每平米的价格做梯度区分颜色,每一个点就是一个小区,圆点的大小就代表着该小区在租房源多少
小项目-开篇:为找工作而写
这个就是结合工作和租房信息的图红点是工作信息,蓝点是我筛选出来的适合我的租房信息(故看起来少了很多),左边的是鼠标停留工作的信息显示框,圆点大小代表是该公司评分最高工作评分。

项目工作:

1、数据爬取
2、数据清洗,去噪,分析
3、数据可视化

好了,开完坑了!!
这篇先到这里,下一章节?
爬虫准备工作:ip代理获取

闭上眼,总能看到色彩斑斓的画卷;睁开眼,确只有……
——by 泛泛之素
2017年12月29日