二、下载&安装程序
1.1 Apache Hadoop:
下载Hadoop Relase:
解压:tar xzf hadoop-x.y.z.tar.gz
1.2 安装JDK1.6:sudo apt-get install sun-java6-jdk
三、配置环境变量&配置文件
1.环境变量
export HADOOP_INSTALL=/opt/hadoop-0.20.2/ (Hadoop解压目录)
export PATH=$PATH:$HADOOP_INSTALL/bin
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_CONF_DIR=$HADOOP_INSTALL/conf
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JDK目录)
2.配置Hadoop
2.1设置hadoop JAVA_HOME
打开$HADOOP_INSTALL/conf/hadoop-env.sh,配置JAVA_HOME如下图:
2.2 设置hadoop ,hdfs,mapreduce(伪集群设置,其它参考文档)
2.2.1设置core-site.xml,如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000/</value>
</property>
<property>
<!-- 注意:一定要设置此项,dfs,mapreduce,tmp文件都存放此处;
否则dfs,mapreduce将默认存放在系统临时目录下(/tmp),
系统重启后,以前的所有操作将消失。--!>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/john/hadoop/</value>
</property>
</configuration>
具体配置项参考: hadoopinstal/doc/core-default.html
2.2.2 设置hdfs-site.xml,如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<configuration>
具体配置项参考: hadoopinstal/doc/hdfs-default.html
2.2.3设置mapred-site.xml,如下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<configuration>
具体配置项参考: hadoopinstal/doc/mapred-default.html
四、Format Hadoop&Run Hadoop
控制台执行命令:hadoop namenode -format
运行:start.all.sh
验证是否安装成功:
浏览器::50030
(localhost Hadoop Map/Reduce Administration)
:50070
(NameNode'localhost.localdomain:8020')
五、安装Eclipse plugin
对与不同Hadoop版本,需要不同的plugin,需要自己编译,在0.20.2版本一下,的release包里都有编译好的plugin,位置在(解压目录/contrib/eclipse-plugin/)。编译plugin问题很多,如果需先赌为快,建议安装0.20.2版。直接把hadoop-*-eclipse-plugin.jar,cp到”eclipse安装目录/eclise/plugins”
注意,一定不要修改hadoop-*-eclipse-plugin.jar名称,然后重新启动eclipse即可,
查看插件如下图: