lucene 7.x 分词 TokenStream的使用及源码分析

1 //将一个字符串创建成token流,第一个参数---fiedName,是一种标志性参数,可以写空字符串,不建议用null,因为null对于IKAnalyzer会包错 2 TokenStream tokenStream = new IKAnalyzer().tokenStream("keywords",new StringReader("思想者")); 3 //添加单词信息到AttributeSource的map中 4 CharTermAttribute attribute = tokenStream.addAttribute(CharTermAttribute.class); 5 //重置,设置tokenstream的初始信息 6 tokenStream.reset(); 7 while(tokenStream.incrementToken()) {//判断是否还有下一个Token 8 System.out.println(attribute); 9 } 10 tokenStream.end(); 11 tokenStream.close();