爬虫入门 手写一个Java爬虫

本文内容 æ¶žæºäºŽ  罗刚 è€å¸ˆçš„ ä¹¦ç± << 自己动手写网络爬虫一书 >> ;

本文将介绍 1: 网络爬虫的是做什么的?  2: æ‰‹åŠ¨å†™ä¸€ä¸ªç®€å•çš„网络爬虫;

1: ç½‘络爬虫是做什么的?  他的主要工作就是 跟据指定的url地址 åŽ»å‘送请求,获得响应, ç„¶åŽè§£æžå“åº” , ä¸€æ–¹é¢ä»Žå“åº”中查找出想要查找的数据,另一方面从响应中解析出新的URL路径,

然后继续访问,继续解析;继续查找需要的数据和继续解析出新的URL路径  .

这就是网络爬虫主要干的工作.  下面是流程图:

通过上面的流程图 èƒ½å¤§æ¦‚了解到 ç½‘络爬虫 å¹²äº†å“ªäº›æ´»  ,根据这些 ä¹Ÿå°±èƒ½è®¾è®¡å‡ºä¸€ä¸ªç®€å•çš„网络爬虫出来.

一个简单的爬虫 å¿…需的功能:  

1: å‘送请求和获取响应的功能 ; 

2: è§£æžå“åº”的功能 ;

3: 对 过滤出的数据 进行存储 的功能 ;

4: å¯¹è§£æžå‡ºæ¥çš„URL路径 å¤„理的功能 ;

下面是包结构:

 ä¸‹é¢å°±ä¸Šä»£ç ï¼š

RequestAndResponseTool  ç±»ï¼š ä¸»è¦æ–¹æ³•ï¼š å‘送请求 è¿”回响应 å¹¶æŠŠ å“åº” å°è£…成 page ç±» ;

package com.etoak.crawl.page;

import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;

import java.io.IOException;

public class RequestAndResponseTool {


    public static Page  sendRequstAndGetResponse(String url) {
        Page page = null;
        // 1.生成 HttpClinet å¯¹è±¡å¹¶è®¾ç½®å‚æ•°
        HttpClient httpClient = new HttpClient();
        // è®¾ç½® HTTP è¿žæŽ¥è¶…æ—¶ 5s
        httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(5000);
        // 2.生成 GetMethod å¯¹è±¡å¹¶è®¾ç½®å‚æ•°
        GetMethod getMethod = new GetMethod(url);
        // è®¾ç½® get è¯·æ±‚超时 5s
        getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 5000);
        // è®¾ç½®è¯·æ±‚重试处理
        getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER, new DefaultHttpMethodRetryHandler());
        // 3.执行 HTTP GET è¯·æ±‚
        try {
            int statusCode = httpClient.executeMethod(getMethod);
        // åˆ¤æ–­è®¿é—®çš„状态码
            if (statusCode != HttpStatus.SC_OK) {
                System.err.println("Method failed: " + getMethod.getStatusLine());
            }
        // 4.处理 HTTP å“åº”内容
            byte[] responseBody = getMethod.getResponseBody();// è¯»å–为字节 æ•°ç»„
            String contentType = getMethod.getResponseHeader("Content-Type").getValue(); // å¾—到当前返回类型
            page = new Page(responseBody,url,contentType); //封装成为页面
        } catch (HttpException e) {
        // å‘生致命的异常，可能是协议不对或者返回的内容有问题
            System.out.println("Please check your provided http address!");
            e.printStackTrace();
        } catch (IOException e) {
        // å‘生网络异常
            e.printStackTrace();
        } finally {
        // é‡Šæ”¾è¿žæŽ¥
            getMethod.releaseConnection();
        }
        return page;
    }
}

page 类： 主要作用： 保存响应的相关内容 对外提供访问方法；

package com.etoak.crawl.page;


import com.etoak.crawl.util.CharsetDetector;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.io.UnsupportedEncodingException;

/*
* page
*   1: ä¿å­˜èŽ·å–到的响应的相关内容;
* */
public class Page {

    private byte[] content ;
    private String html ;  //网页源码字符串
    private Document doc  ;//网页Dom文档
    private String charset ;//字符编码
    private String url ;//url路径
    private String contentType ;// å†…容类型


    public Page(byte[] content , String url , String contentType){
        this.content = content ;
        this.url = url ;
        this.contentType = contentType ;
    }

    public String getCharset() {
        return charset;
    }
    public String getUrl(){return url ;}
    public String getContentType(){ return contentType ;}
    public byte[] getContent(){ return content ;}

    /**
     * è¿”回网页的源码字符串
     *
     * @return ç½‘页的源码字符串
     */
    public String getHtml() {
        if (html != null) {
            return html;
        }
        if (content == null) {
            return null;
        }
        if(charset==null){
            charset = CharsetDetector.guessEncoding(content); // æ ¹æ®å†…容来猜测 å­—符编码
        }
        try {
            this.html = new String(content, charset);
            return html;
        } catch (UnsupportedEncodingException ex) {
            ex.printStackTrace();
            return null;
        }
    }

    /*
    *  å¾—到文档
    * */
    public Document getDoc(){
        if (doc != null) {
            return doc;
        }
        try {
            this.doc = Jsoup.parse(getHtml(), url);
            return doc;
        } catch (Exception ex) {
            ex.printStackTrace();
            return null;
        }
    }


}

PageParserTool： ç±»  ä¸»è¦ä½œç”¨ æä¾›äº† æ ¹æ®é€‰æ‹©å™¨æ¥é€‰å–元素 å±žæ€§ ç­‰æ–¹æ³• ï¼›

package com.etoak.crawl.page;

import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.util.ArrayList;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Set;

public class PageParserTool {


    /* é€šè¿‡é€‰æ‹©å™¨æ¥é€‰å–页面的 */
    public static Elements select(Page page , String cssSelector) {
        return page.getDoc().select(cssSelector);
    }

    /*
     *  é€šè¿‡css选择器来得到指定元素;
     *
     *  */
    public static Element select(Page page , String cssSelector, int index) {
        Elements eles = select(page , cssSelector);
        int realIndex = index;
        if (index < 0) {
            realIndex = eles.size() + index;
        }
        return eles.get(realIndex);
    }


    /**
     * èŽ·å–满足选择器的元素中的链接 é€‰æ‹©å™¨cssSelector必须定位到具体的超链接
     * ä¾‹å¦‚我们想抽取id为content的div中的所有超链接，这里
     * å°±è¦å°†cssSelector定义为div[id=content] a
     *  æ”¾å…¥set ä¸­ é˜²æ­¢é‡å¤ï¼›
     * @param cssSelector
     * @return
     */
    public static  Set<String> getLinks(Page page ,String cssSelector) {
        Set<String> links  = new HashSet<String>() ;
        Elements es = select(page , cssSelector);
        Iterator iterator  = es.iterator();
        while(iterator.hasNext()) {
            Element element = (Element) iterator.next();
            if ( element.hasAttr("href") ) {
                links.add(element.attr("abs:href"));
            }else if( element.hasAttr("src") ){
                links.add(element.attr("abs:src"));
            }
        }
        return links;
    }



    /**
     * èŽ·å–网页中满足指定css选择器的所有元素的指定属性的集合
     * ä¾‹å¦‚通过getAttrs("img[src]","abs:src")可获取网页中所有图片的链接
     * @param cssSelector
     * @param attrName
     * @return
     */
    public static ArrayList<String> getAttrs(Page page , String cssSelector, String attrName) {
        ArrayList<String> result = new ArrayList<String>();
        Elements eles = select(page ,cssSelector);
        for (Element ele : eles) {
            if (ele.hasAttr(attrName)) {
                result.add(ele.attr(attrName));
            }
        }
        return result;
    }
}

Link 包 ；

Links  ç±»:  两个属性： 一个是存放 已经访问的url集合的set  ; 一个是存放待访问url集合的 queue    ；

package com.etoak.crawl.link;
 
import java.util.HashSet;
import java.util.LinkedList;
import java.util.Set;
 
/*
*  Link主要功能;
*  1: å­˜å‚¨å·²ç»è®¿é—®è¿‡çš„URL路径 å’Œ å¾…访问的URL è·¯å¾„;
*
*
* */
public class Links {
 
    //已访问的 url é›†åˆ  å·²ç»è®¿é—®è¿‡çš„ ä¸»è¦è€ƒè™‘ ä¸èƒ½å†é‡å¤äº† ä½¿ç”¨set来保证不重复;
    private static Set visitedUrlSet = new HashSet();
 
    //待访问的 url é›†åˆ  å¾…访问的主要考虑 1:规定访问顺序;2:保证不提供重复的带访问地址;
    private static LinkedList unVisitedUrlQueue = new LinkedList();
 
    //获得已经访问的 URL æ•°ç›®
    public static int getVisitedUrlNum() {
        return visitedUrlSet.size();
    }
 
    //添加到访问过的 URL
    public static void addVisitedUrlSet(String url) {
        visitedUrlSet.add(url);
    }
 
    //移除访问过的 URL
    public static void removeVisitedUrlSet(String url) {
        visitedUrlSet.remove(url);
    }
 
 
 
    //获得 å¾…访问的 url é›†åˆ
    public static LinkedList getUnVisitedUrlQueue() {
        return unVisitedUrlQueue;
    }
 
    // æ·»åŠ åˆ°å¾…访问的集合中  ä¿è¯æ¯ä¸ª URL åªè¢«è®¿é—®ä¸€æ¬¡
    public static void addUnvisitedUrlQueue(String url) {
        if (url != null && !url.trim().equals("")  && !visitedUrlSet.contains(url)  && !unVisitedUrlQueue.contains(url)){
            unVisitedUrlQueue.add(url);
        }
    }
 
    //删除 å¾…访问的url
    public static Object removeHeadOfUnVisitedUrlQueue() {
        return unVisitedUrlQueue.removeFirst();
    }
 
    //判断未访问的 URL é˜Ÿåˆ—中是否为空
    public static boolean unVisitedUrlQueueIsEmpty() {
        return unVisitedUrlQueue.isEmpty();
    }
 
}

LinkFilter  æŽ¥å£ï¼š å¯ä»¥èµ·è¿‡æ»¤ä½œç”¨ï¼›

package com.etoak.crawl.link;public interface LinkFilter {    
    public boolean accept(String url);
}

util 工具类

CharsetDetector ç±»ï¼› èŽ·å–字符编码

/*
 * Copyright (C) 2014 hu
 *
 * This program is free software; you can redistribute it and/or
 * modify it under the terms of the GNU General Public License
 * as published by the Free Software Foundation; either version 2
 * of the License, or (at your option) any later version.
 *
 * This program is distributed in the hope that it will be useful,
 * but WITHOUT ANY WARRANTY; without even the implied warranty of
 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 * GNU General Public License for more details.
 *
 * You should have received a copy of the GNU General Public License
 * along with this program; if not, write to the Free Software
 * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
 */
package com.etoak.crawl.util;

import org.mozilla.universalchardet.UniversalDetector;

import java.io.UnsupportedEncodingException;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * å­—符集自动检测
 *
 * @author hu
 */
public class CharsetDetector {

    //从Nutch借鉴的网页编码检测代码
    private static final int CHUNK_SIZE = 2000;

    private static Pattern metaPattern = Pattern.compile(
            "<meta\\s+([^>]*http-equiv=(\"|')?content-type(\"|')?[^>]*)>",
            Pattern.CASE_INSENSITIVE);
    private static Pattern charsetPattern = Pattern.compile(
            "charset=\\s*([a-z][_\\-0-9a-z]*)", Pattern.CASE_INSENSITIVE);
    private static Pattern charsetPatternHTML5 = Pattern.compile(
            "<meta\\s+charset\\s*=\\s*[\"']?([a-z][_\\-0-9a-z]*)[^>]*>",
            Pattern.CASE_INSENSITIVE);

    //从Nutch借鉴的网页编码检测代码
    private static String guessEncodingByNutch(byte[] content) {
        int length = Math.min(content.length, CHUNK_SIZE);

        String str = "";
        try {
            str = new String(content, "ascii");
        } catch (UnsupportedEncodingException e) {
            return null;
        }

        Matcher metaMatcher = metaPattern.matcher(str);
        String encoding = null;
        if (metaMatcher.find()) {
            Matcher charsetMatcher = charsetPattern.matcher(metaMatcher.group(1));
            if (charsetMatcher.find()) {
                encoding = new String(charsetMatcher.group(1));
            }
        }
        if (encoding == null) {
            metaMatcher = charsetPatternHTML5.matcher(str);
            if (metaMatcher.find()) {
                encoding = new String(metaMatcher.group(1));
            }
        }
        if (encoding == null) {
            if (length >= 3 && content[0] == (byte) 0xEF
                    && content[1] == (byte) 0xBB && content[2] == (byte) 0xBF) {
                encoding = "UTF-8";
            } else if (length >= 2) {
                if (content[0] == (byte) 0xFF && content[1] == (byte) 0xFE) {
                    encoding = "UTF-16LE";
                } else if (content[0] == (byte) 0xFE
                        && content[1] == (byte) 0xFF) {
                    encoding = "UTF-16BE";
                }
            }
        }

        return encoding;
    }

    /**
     * æ ¹æ®å­—节数组，猜测可能的字符集，如果检测失败，返回utf-8
     *
     * @param bytes å¾…检测的字节数组
     * @return å¯èƒ½çš„字符集，如果检测失败，返回utf-8
     */
    public static String guessEncodingByMozilla(byte[] bytes) {
        String DEFAULT_ENCODING = "UTF-8";
        UniversalDetector detector = new UniversalDetector(null);
        detector.handleData(bytes, 0, bytes.length);
        detector.dataEnd();
        String encoding = detector.getDetectedCharset();
        detector.reset();
        if (encoding == null) {
            encoding = DEFAULT_ENCODING;
        }
        return encoding;
    }

    /**
     * æ ¹æ®å­—节数组，猜测可能的字符集，如果检测失败，返回utf-8
     * @param content å¾…检测的字节数组
     * @return å¯èƒ½çš„字符集，如果检测失败，返回utf-8
     */
    public static String guessEncoding(byte[] content) {
        String encoding;
        try {
            encoding = guessEncodingByNutch(content);
        } catch (Exception ex) {
            return guessEncodingByMozilla(content);
        }

        if (encoding == null) {
            encoding = guessEncodingByMozilla(content);
            return encoding;
        } else {
            return encoding;
        }
    }
}

FileTool  æ–‡ä»¶ä¸‹è½½ç±»ï¼š

package com.etoak.crawl.util;



import com.etoak.crawl.page.Page;

import java.io.DataOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;

/*  æœ¬ç±»ä¸»è¦æ˜¯ ä¸‹è½½é‚£äº›å·²ç»è®¿é—®è¿‡çš„文件*/
public class FileTool {

    private static String dirPath;


    /**
     * getMethod.getResponseHeader("Content-Type").getValue()
     * æ ¹æ® URL å’Œç½‘页类型生成需要保存的网页的文件名，去除 URL ä¸­çš„非文件名字符
     */
    private static String getFileNameByUrl(String url, String contentType) {
        //去除 http://
        url = url.substring(7);
        //text/html ç±»åž‹
        if (contentType.indexOf("html") != -1) {
            url = url.replaceAll("[\\?/:*|<>\"]", "_") + ".html";
            return url;
        }
        //如 application/pdf ç±»åž‹
        else {
            return url.replaceAll("[\\?/:*|<>\"]", "_") + "." +
                    contentType.substring(contentType.lastIndexOf("/") + 1);
        }
    }

    /*
    *  ç”Ÿæˆç›®å½•
    * */
    private static void mkdir() {
        if (dirPath == null) {
            dirPath = Class.class.getClass().getResource("/").getPath() + "temp\\";
        }
        File fileDir = new File(dirPath);
        if (!fileDir.exists()) {
            fileDir.mkdir();
        }
    }

    /**
     * ä¿å­˜ç½‘页字节数组到本地文件，filePath ä¸ºè¦ä¿å­˜çš„文件的相对地址
     */

    public static void saveToLocal(Page page) {
        mkdir();
        String fileName =  getFileNameByUrl(page.getUrl(), page.getContentType()) ;
        String filePath = dirPath + fileName ;
        byte[] data = page.getContent();
        try {
            //Files.lines(Paths.get("D:\\jd.txt"), StandardCharsets.UTF_8).forEach(System.out::println);
            DataOutputStream out = new DataOutputStream(new FileOutputStream(new File(filePath)));
            for (int i = 0; i < data.length; i++) {
                out.write(data[i]);
            }
            out.flush();
            out.close();
            System.out.println("文件："+ fileName + "已经被存储在"+ filePath  );
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

}

RegexRule  æ­£åˆ™è¡¨è¾¾å¼ç±»ï¼›

/*
 * Copyright (C) 2014 hu
 *
 * This program is free software; you can redistribute it and/or
 * modify it under the terms of the GNU General Public License
 * as published by the Free Software Foundation; either version 2
 * of the License, or (at your option) any later version.
 *
 * This program is distributed in the hope that it will be useful,
 * but WITHOUT ANY WARRANTY; without even the implied warranty of
 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 * GNU General Public License for more details.
 *
 * You should have received a copy of the GNU General Public License
 * along with this program; if not, write to the Free Software
 * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
 */
package com.etoak.crawl.util;


import java.util.ArrayList;
import java.util.regex.Pattern;

/**
 *
 * @author hu
 */
public class RegexRule {
    
    public RegexRule(){
        
    }
    public RegexRule(String rule){
        addRule(rule);
    }
    
    public RegexRule(ArrayList<String> rules){
        for (String rule : rules) {
            addRule(rule);
        }
    }
    
    public boolean isEmpty(){
        return positive.isEmpty();
    }

    private ArrayList<String> positive = new ArrayList<String>();
    private ArrayList<String> negative = new ArrayList<String>();

  
    
    /**
     * æ·»åŠ ä¸€ä¸ªæ­£åˆ™è§„则 æ­£åˆ™è§„则有两种，正正则和反正则 
     * URL符合正则规则需要满足下面条件： 1.至少能匹配一条正正则 2.不能和任何反正则匹配
     * æ­£æ­£åˆ™ç¤ºä¾‹ï¼š+a.*c是一条正正则，正则的内容为a.*c，起始加号表示正正则
     * åæ­£åˆ™ç¤ºä¾‹ï¼š-a.*c时一条反正则，正则的内容为a.*c，起始减号表示反正则
     * å¦‚果一个规则的起始字符不为加号且不为减号，则该正则为正正则，正则的内容为自身
     * ä¾‹å¦‚a.*c是一条正正则，正则的内容为a.*c
     * @param rule æ­£åˆ™è§„则
     * @return è‡ªèº«
     */
    public RegexRule addRule(String rule) {
        if (rule.length() == 0) {
            return this;
        }
        char pn = rule.charAt(0);
        String realrule = rule.substring(1);
        if (pn == '+') {
            addPositive(realrule);
        } else if (pn == '-') {
            addNegative(realrule);
        } else {
            addPositive(rule);
        }
        return this;
    }

   
    
    /**
     * æ·»åŠ ä¸€ä¸ªæ­£æ­£åˆ™è§„则
     * @param positiveregex
     * @return è‡ªèº«
     */
    public RegexRule addPositive(String positiveregex) {
        positive.add(positiveregex);
        return this;
    }

  
    /**
     * æ·»åŠ ä¸€ä¸ªåæ­£åˆ™è§„则
     * @param negativeregex
     * @return è‡ªèº«
     */
    public RegexRule addNegative(String negativeregex) {
        negative.add(negativeregex);
        return this;
    }

   
    /**
     * åˆ¤æ–­è¾“入字符串是否符合正则规则
     * @param str è¾“入的字符串
     * @return è¾“入字符串是否符合正则规则
     */
    public boolean satisfy(String str) {

        int state = 0;
        for (String nregex : negative) {
            if (Pattern.matches(nregex, str)) {
                return false;
            }
        }

        int count = 0;
        for (String pregex : positive) {
            if (Pattern.matches(pregex, str)) {
                count++;
            }
        }
        if (count == 0) {
            return false;
        } else {
            return true;
        }

    }
}

主类： 

MyCrawler ï¼š

package com.etoak.crawl.main;
 
import com.etoak.crawl.link.LinkFilter;
import com.etoak.crawl.link.Links;
import com.etoak.crawl.page.Page;
import com.etoak.crawl.page.PageParserTool;
import com.etoak.crawl.page.RequestAndResponseTool;
import com.etoak.crawl.util.FileTool;
import org.jsoup.select.Elements;
 
import java.util.Set;
 
public class MyCrawler {
 
    /**
     * ä½¿ç”¨ç§å­åˆå§‹åŒ– URL é˜Ÿåˆ—
     *
     * @param seeds ç§å­ URL
     * @return
     */
    private void initCrawlerWithSeeds(String[] seeds) {
        for (int i = 0; i < seeds.length; i++){
            Links.addUnvisitedUrlQueue(seeds[i]);
        }
    }
 
 
    /**
     * æŠ“取过程
     *
     * @param seeds
     * @return
     */
    public void crawling(String[] seeds) {
 
        //初始化 URL é˜Ÿåˆ—
        initCrawlerWithSeeds(seeds);
 
        //定义过滤器，提取以 http://www.baidu.com å¼€å¤´çš„链接
        LinkFilter filter = new LinkFilter() {
            public boolean accept(String url) {
                if (url.startsWith("http://www.baidu.com"))
                    return true;
                else
                    return false;
            }
        };
 
        //循环条件：待抓取的链接不空且抓取的网页不多于 1000
        while (!Links.unVisitedUrlQueueIsEmpty()  && Links.getVisitedUrlNum() <= 1000) {
 
            //先从待访问的序列中取出第一个；
            String visitUrl = (String) Links.removeHeadOfUnVisitedUrlQueue();
            if (visitUrl == null){
                continue;
            }
 
            //根据URL得到page;
            Page page = RequestAndResponseTool.sendRequstAndGetResponse(visitUrl);
 
            //对page进行处理： è®¿é—®DOM的某个标签
            Elements es = PageParserTool.select(page,"a");
            if(!es.isEmpty()){
                System.out.println("下面将打印所有a标签： ");
                System.out.println(es);
            }
 
            //将保存文件
            FileTool.saveToLocal(page);
 
            //将已经访问过的链接放入已访问的链接中；
            Links.addVisitedUrlSet(visitUrl);
 
            //得到超链接
            Set<String> links = PageParserTool.getLinks(page,"img");
            for (String link : links) {
                Links.addUnvisitedUrlQueue(link);
                System.out.println("新增爬取路径: " + link);
            }
        }
    }
 
 
    //main æ–¹æ³•å…¥å£
    public static void main(String[] args) {
        MyCrawler crawler = new MyCrawler();
        crawler.crawling(new String[]{"http://www.baidu.com"});
    }
}

运行结果：