最近一段在研究Nutch、Solr,Nutch 把数据 存放在 HDFS 上,想探讨一下 Nutch 是怎么把数据存储到HDFS 上,查看源码分析。
在看 Nutch 源码时,没有找到一点于 Lucene 关联的内容,Nutch 把所有的,都按自己的重新写了一遍,NutchDocument、NutchField ,都 实现 Hadoop的 Writable 接口。这样就很容易的写到了 HDFS 上。
Nutch 可以 用 把数据传输给 Solr
bin/nutch solrindex :8983/solr/ crawldb -linkdb crawldb/linkdb crawldb/segments/*这个命令调用的是:org.apache.nutch.indexer.solr.SolrIndexer在上面会 MapReduce 的配置 及启动。查看Reduce的实现,没有任何的 向Solr 写内容的代码,在初始化Job的时候
NutchIndexWriterFactory.addClassToConf(job, SolrWriter.class);
有一个这样的类,SolrWriter ,在这个里面可以找到相关与Solr交互的代码。
而Solr 里,接收请求的是:BinaryUpdateRequestHandler ,会把 Nutch 传进来的 内容 转换成 Lucene 的索引。
更多Hadoop相关信息见Hadoop 专题页面 ?tid=13