Hadoop 伪分布式安装

Hadoop的安装分为本地模式、伪分布式模式、集群模式
 
在这里演示伪分布式模式的安装和部署,以下将演示hadoop安装在RedHat上的方法,首先要确保防火墙已经关闭。
 
1.      安装JDK,设置环境变量,这里选择JDK1. 6
 
2.      下载hadoop1.1.2安装文件,hadoop-1.1.2.tar.gz
 
3.      将该文件解压到linux机器上,配置hadoop环境变量,具体配置如下
 
exportJAVA_HOME=/usr/local/jdk
 
export HADOOP_HOME=/usr/local/hadoop
 
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
 
4.      设置ssh自动登录
 
生成密钥文件,ssh-keygen -t rsa
 
修改生成文件的名字:cp id_rsa.pub authorized_keys, 这里一定要这么做
 
确认ssh自动登录已经成功:ssh hadoop,连续登录两次主机,第二次不用确认信息,说明设置成功
 

5.      配置hadoop文件
 
要配置伪分布式,这里要修改hadoop的配置文件

在hadoop中设置java home
 
1)  修改hadoop-env.sh
 
在hadoop/conf下打开hadoop-env.sh
 
export HADOOP_PID_DIR=/usr/local/hadoop/pids
 
export JAVA_HOME=/usr/local/java
 
2)  修改core-site.xml
 
在core-site.xml中加入以下行,设置hadoop file system的访问路径,以及tmp文件的存储路径,在源码中,你可以看到默认值
 
<property>
 
    <name>fs.default.name</name>
 
    <value>hdfs://hadoop:9000</value>
 
</property>
 
<property>
 
    <name>hadoop.tmp.dir</name>
 
      <value>/usr/local/hadoop/tmp</value>
 
    </property>
 
3)  修改hdfs-site.xml
 
<configuration>
 
    <property>
 
      <name>dfs.replication</name>
 
        <value>1</value>
 
    </property>
 
</configuration>
 
4)  修改mapred-site.xml
 
<configuration>
 
    <property>
 
        <name>mapred.job.tracker</name>
 
        <value>hadoop:9001</value>
 
    </property>
 
</configuration>
 
6.      格式化namenode
 
Hadoop namenode –format
 

7.      启动hadoop
 
start-all.sh,这里启动了五个java进程,有namenode, datanode, jobtracker,tasktracker, secondarynamenode, 可以用jps命令查看是否启动成功 
       

8.      在浏览器中查看namenode是否启动成功
 
:50070/dfshealth.jsp

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/e44ccbb85830d3b9fe4e860051a791df.html