Hadoop的安装分为本地模式、伪分布式模式、集群模式
在这里演示伪分布式模式的安装和部署,以下将演示hadoop安装在RedHat上的方法,首先要确保防火墙已经关闭。
1. 安装JDK,设置环境变量,这里选择JDK1. 6
2. 下载hadoop1.1.2安装文件,hadoop-1.1.2.tar.gz
3. 将该文件解压到linux机器上,配置hadoop环境变量,具体配置如下
exportJAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
4. 设置ssh自动登录
生成密钥文件,ssh-keygen -t rsa
修改生成文件的名字:cp id_rsa.pub authorized_keys, 这里一定要这么做
确认ssh自动登录已经成功:ssh hadoop,连续登录两次主机,第二次不用确认信息,说明设置成功
5. 配置hadoop文件
要配置伪分布式,这里要修改hadoop的配置文件
在hadoop中设置java home
1) 修改hadoop-env.sh
在hadoop/conf下打开hadoop-env.sh
export HADOOP_PID_DIR=/usr/local/hadoop/pids
export JAVA_HOME=/usr/local/java
2) 修改core-site.xml
在core-site.xml中加入以下行,设置hadoop file system的访问路径,以及tmp文件的存储路径,在源码中,你可以看到默认值
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
3) 修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4) 修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
</property>
</configuration>
6. 格式化namenode
Hadoop namenode –format
7. 启动hadoop
start-all.sh,这里启动了五个java进程,有namenode, datanode, jobtracker,tasktracker, secondarynamenode, 可以用jps命令查看是否启动成功
8. 在浏览器中查看namenode是否启动成功
:50070/dfshealth.jsp