Nutch 1.3 在Ubuntu上的简单配置

因为Nutch 1.3跟以前比改了不少东西，所以1.2中的有些配置已经不在适用了

首先我的机器用的是Ubuntu 10.04,挺老的版本了，因为有它的光盘，一直没有升级

当然是先下载nutch的包了，用的人人的镜像

只有先会用了才能进行下一步的工作嘛，所以介绍一下最简单的配置方法：

1.  修改nutch解压目录中的runtime/local/bin/nutch脚本的执行权限   chmod 755 nutch

2. 修改runtime/local/conf 里面的nutch-site.xml,在configuration标签中增加如下标签

<property>

<name>http.agent.name</name>

<value>看样子可以填任何你想取的爬虫crawl的名字</value>

<description></description>

</property>

3.在此前提到的local目录下建抓取起始url文本myurl,和抓取结果存放目录mydir

4.myurl中可以加入任何你想抓取的地址,比如

5.然后配置local目录下conf目录中的automaton-urlfilter.txt,将最后一行以+开关的行改为+^([a-z0-9]*\.)*sina.com.cn/,第2 个星号后的域名可以自定义

6.最后可以开始运行了，在local目录下，执行./bin/nutch crawl myurl -dir mydir -depth 2  -threads 2 -topN 4

-dir                       选项设置抓取结果存放目录

-depth                 选项设置爬取的深度

-threads             选项设置并行爬取的线程数

-topN                  选项设置每个深度爬取的最大页数

最后就可以查看mydir中的结果了

Nutch的详细介绍：请点这里
Nutch的下载地址：请点这里