java爬虫一（分析要爬取数据的网站）

一、获取你想要抓取的网站地址：

然后打开控制台，F12，打开。我用的是Chrome浏览器，跟个人更喜欢Chrome的控制台字体。

找到搜索栏对应的html标签：

下面这一栏是搜索的结果条数，可能对于我们执行循环有帮助。

这是定位到某个页面的所有招聘信息的html的div块：

那么具体到某一家公司的招聘信息：

这就对应到这一家公司了：

但是我们需要的是具体的信息，于是我们展开刚才上面那个<table></table>的<tr></tr>:

所有的标签展开内容过长，我们分开来看：

那么还有一个我们在网页上看见的：下拉箭头。打开下拉箭头就会看到详细信息，这里其实该页面的html已经包含了，只是默认隐藏而已。

对应的显示结果：

那么我想获取的是什么信息呢，我不会获取太多信息。这里我只想获取的是“岗位名称”、“经验”、“学历”、“薪水”等。如果需要获取岗位要求和公司地址的话，则必须点击进入该岗位下进行查看。

转载于:https://blog.51cto.com/12176710/1963337