Lucene的基本分词过程

一、Analyzer

       Analyzer类是所有分词器的基类，它是个抽象类，所有的子类必须实现

Java代码  

1. @Override  
2. protected TokenStreamComponents createComponents(String fieldName, Reader reader) {  
3.      return new TokenStreamComponents;  
4.    }  

    TokenStreamComponents有两个构造方法

Java代码  

1. Analyzer.TokenStreamComponents(Tokenizer source)  
2.   
3. Analyzer.TokenStreamComponents(Tokenizer source, TokenStream result)  

 二、TokenStream

    TokenStream能够产生语汇单元序列的类，有两个类型的子类TokenFilter和Tokenizer

    1.Tokenizer是通过读取字符串创建语汇单元的 

    2.TokenFilter封装另个TokenStream去处理语汇单元，产生新的语汇单元

三、构造一个分析器理解分析链的顺序很重要

        看Lunene In Action书上写的，也不知道是不是这样理解的？

Java代码  

1. public class StopAnalyzer2 extends Analyzer {  
2.   
3.     private Set stopWords;  
4.       
5.     public StopAnalyzer2(){  
6.         stopWords=StopAnalyzer.ENGLISH_STOP_WORDS_SET;  
7.     }  
8.     public StopAnalyzer2(String[] stopWords){  
9.         this.stopWords=StopFilter.makeStopSet(Version.LUCENE_42, stopWords);  
10.     }  
11.     @Override  
12.     protected TokenStreamComponents createComponents(String arg0, Reader arg1) {  
13.         //首先转换为小写的流  
14.         Tokenizer t=new LowerCaseTokenizer(Version.LUCENE_42,arg1);  
15.           //转换后用处理去除顿词  
16.            return new TokenStreamComponents(t, new StopFilter(Version.LUCENE_42, t, (CharArraySet) stopWords));  
17.           
18. //  TokenFilter tt=new LowerCaseFilter(Version.LUCENE_42, new LetterTokenizer(Version.LUCENE_42, arg1));  
19. //   return new TokenStreamComponents(null,new StopFilter(Version.LUCENE_42, tt, (CharArraySet) stopWords));  
20.     }  
21. //结果看是否能把大写The过滤掉  
22.     public static void main(String[] args) throws IOException {  
23.         AnalyzerUtils.displayTokes(new StopAnalyzer2(), "The I love you");  
24.     }  
25.   
26. }  

 结果：

 修改后

Java代码  

1. @Override  
2. protected TokenStreamComponents createComponents(String arg0, Reader arg1) {  
3.   
4.     TokenStream filter=new StopFilter(Version.LUCENE_42, new LetterTokenizer(Version.LUCENE_42, arg1), (CharArraySet) stopWords);  
5.        return new TokenStreamComponents(t,new LowerCaseFilter(Version.LUCENE_42, filter));  
6.   
7. }  

 结果：

 四、对不同分次器做的比较

        书上的Util类这个是在网上找的

Java代码  

1. public class AnalyzerUtils {  
2.     public static void displayTokes(Analyzer analyzer,String text) throws IOException{  
3.         displayTokes(analyzer.tokenStream("contents", new StringReader(text)));  
4.     }  
5.       
6.     public static void displayTokes(TokenStream tokenStream) throws IOException{  
7.          CharTermAttribute termAttribute = tokenStream.addAttribute(CharTermAttribute.class);  
8.          tokenStream.reset();  //此行，不能少，不然会报 java.lang.ArrayIndexOutOfBoundsException  
9.    
10.          PositionIncrementAttribute posIncr=tokenStream.addAttribute(PositionIncrementAttribute.class);  
11.          OffsetAttribute o=tokenStream.addAttribute(OffsetAttribute.class);  
12.          TypeAttribute type=tokenStream.addAttribute(TypeAttribute.class);  
13.          while(tokenStream.incrementToken()){  
14.              System.out.print("["+termAttribute.toString()+"  "+o.startOffset()+"->"+o.endOffset()+" "+type.type()+"]");  
15.                
16.          }  
17.       
18. //       while(tokenStream.incrementToken()){  
19. //           System.out.print("["+termAttribute.toString()+"  "+"]");  
20. //             
21. //       }  
22.     }  
23. }