Lucene的内存索引和磁盘索引
1.我们接触到的数据类型有哪些？
我们知道生活中的数据分为结构化数据（固定长度或有限长度的数据，如数据库，元数据；）和非结构化数据（长度不固定或者格式不固定的）。有时还会接触到半结构化的数据如html，xml等；
2.lucene是基于java的全文检索信息库，全文检索信息库包含两个方面的内容，索引创建和搜索索引。今天我们主要讲的是索引的创建。
首先看看lucene相关的索引的类继承结构。
从上面的类继承结构可以看出lucene为我们提供了多种索引的实现。比较常用是两种内存索引和磁盘索引。
3.磁盘索引
常用的磁盘索引类有SimpleFSDirectory，NIOFSDirectory，MMapDirectory其中后面两个对多线程的支持比较好。
4.内存索引
内存索引顾名思义索引建立在内存中，优点访问查询快，缺点放在内存中当虚拟机退出时索引就消失了。
5.Demo
package HelloLucene;
import java.io.File;
import java.io.IOException;
import java.text.ParseException;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.IntField;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopScoreDocCollector;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.store.RAMDirectory;
import org.apache.lucene.store.SimpleFSDirectory;
import org.apache.lucene.util.Version;
public class HelloLucene {
public static void main(String[] args) throws IOException, ParseException {
// 0. Specify the analyzer for tokenizing text.
// The same analyzer should be used for indexing and searching
//标准分词器对中文支持的不够好
StandardAnalyzer analyzer = new StandardAnalyzer(Version.LUCENE_40);
// 1. create the index
// Directory index = new RAMDirectory();
Directory index=new SimpleFSDirectory(new File("/user/lucene"));
IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_40, analyzer);
IndexWriter w = new IndexWriter(index, config);
addDoc(w, "Lucene in Action", "193398817");
addDoc(w, "Lucene for Dummies", "55320055Z");
addDoc(w, "Managing Gigabytes", "55063554A");
addDoc(w, "The Art of Computer Science", "9900333X");
w.close();
// 2. query
String querystr = args.length > 0 ? args[0] : "Lucene";
// the "title" arg specifies the default field to use
// when no field is explicitly specified in the query.
Query q = null;
try {
q = new QueryParser(Version.LUCENE_40, "title", analyzer).parse(querystr);
} catch (org.apache.lucene.queryparser.classic.ParseException e) {
e.printStackTrace();
}
// 3. search
int hitsPerPage = 10;
IndexReader reader = DirectoryReader.open(index);
IndexSearcher searcher = new IndexSearcher(reader);
TopScoreDocCollector collector = TopScoreDocCollector.create(hitsPerPage, true);
searcher.search(q, collector);
ScoreDoc[] hits = collector.topDocs().scoreDocs;
// 4. display results
System.out.println("Found " + hits.length + " hits.");
for (int i = 0; i < hits.length; ++i) {
int docId = hits[i].doc;
Document d = searcher.doc(docId);
System.out.println((i + 1) + ". " + d.get("isbn") + "\t" + d.get("title") );
}
// reader can only be closed when there
// is no need to access the documents any more.
reader.close();
}
private static void addDoc(IndexWriter w, String title, String isbn) throws IOException {
Document doc = new Document();
doc.add(new TextField("title", title, Field.Store.YES));
// use a string field for isbn because we don't want it tokenized
doc.add(new StringField("isbn", isbn, Field.Store.YES));
w.addDocument(doc);
}
}
6.索引优化
a.fsIndexWriter.optimize() 对索引进行优化。
b.forceMerge(int maxNumSegments) 强制合并文件，这是一个比较消耗IO的操作。合并小文件，如果此时有线程添加新的文档进来，就不会被合并，除非触发新一次的merge。
c.还有一些其他的方式，内存索引和磁盘索引相结合。将常被索引的东西放在内存中来。