Hadoop完全分布式配置

环境:CentOS5、Hadoop0.20.203、jdk1.6.0_29

namenode:centos1(ip:192.168.1.101)

datanode:centos2(ip:192.168.1.103)、centos3(ip:192.168.1.104)

配置步骤:

(1)配置NameNode和DataNode

修改每台机器的/etc/hosts(包括namenode和datanode)

127.0.0.1               localhost.localdomain localhost
192.168.1.101             centos1
192.168.1.103             centos2
192.168.1.104             centos3
::1             localhost6.localdomain6 localhost6

(2)在所有的机器上建立相同的用户

useradd grid
passwd grid

成功建立grid用户后,输入用户密码就是该用户密码


(3)SSH设置

使用grid用户登录

在所有机器/home/grid下

mkdir .ssh

在namenode上生成密钥对

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

注意点:

不进行以下步骤SSH免密码登录设置会不成功

.ssh目录要设成700 有执行权限
authorized_keys要设成600 否则会出错
还有ssh 登陆要加入用户名的 比如
ssh root@localhost

这时从centos1向其他机器发起SSH连接,只有第一次登录时需要输入密码,以后则不需要


(4)在所有机器上安装JDK

下载jdk-6u29-linux-i586.bin,安装到/usr/java下,cd到usr/java下

chmod u+x jdk-6u29-linux-i586.bin
./jdk-6u29-linux-i586.bin

接下来要设置java的环境变量输入命令:

gedit /etc/profile


在文件的最后添加以下语句:

JAVA_HOME=/usr/java/jdk1.6.0_29

export JRE_HOME=/usr/java/jdk1.6.0_29/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存退出,然后执行source /etc/profile即可。

输入java -version 命令,出现如下信息就表示配置成功

java version "1.6.0_29"
Java(TM) SE Runtime Environment (build 1.6.0_29-b11)
Java HotSpot(TM) Server VM (build 20.4-b02, mixed mode)

(5)在所有机器上安装配置Hadoop

首先在namenode上配置,配置后在分发到datanode上

在这里,下载hadoop-0.20.203.tar.gz,然后解压到/home/grid/下即可

tar -zxvf hadoop-0.20.203.tar.gz

接下来需要修改hadoop的conf文件夹下的配置信息:

修改hadoop-env.sh,加入如下语句,使得hadoop能够找到java的路径。:

export JAVA_HOME=/usr/java/jdk1.6.0_29

修改core-site.xml,如下:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://centos1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/tmp</value>
</property>

</configuration>

 注意:hadoop.tmp.dir是hadoop文件系统依赖的基础配置,很多路径都依赖它。它默认的位置是在/tmp/{$user}下面,在local和hdfs都会建有相同的目录,但是在/tmp路径下的存储是不安全的,因为linux一次重启,文件就可能被删除。导致namenode启动不起来。

修改hdfs-site.xml,如下

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

修改mapred-site.xml,如下:

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.101:9001</value>
</property>
</configuration>

保险起见这里写centos1对应的IP地址

masters里写入作为namenode节点机器的IP

192.168.1.101

slaves里写入作为datanode节点的机器的IP

192.168.1.103
192.168.1.104

注意点:

修改hadoop-0.20.203.0/bin下的hadoop.

vi  hadoop

查找 –jvm . vi 下的命令模式: :/-jvm

将-jvm server改成 –server .

因为JDK1.6已经废除了一个参数-jvm,如果不修改的话,无法启动数据节点。


到此,hadoop的有关配置已经完成,namenode端通过如下命令把配置好的hadoop发送到各个datanode处:

scp -r hadoop-0.20.2 centos2:/home/grid
scp -r hadoop-0.20.2 centos3:/home/grid

(6)

注意点:关闭所有机器上的防火墙,不然会导致datanode起不来

/etc/init.d/iptables stop

在namenode端cd到hadoop文件夹下,格式化分布式文件系统:

bin/hadoop namenode -format

下面接着在namenode端启动hadoop进程:

bin/start-all.sh

如果没有其它差错的话,hadoop可以正常启动,并能够看到如下结果:

在namenode���用jps命令查看启动情况,如下:

grid@centos1:~/hadoop-0.20.203$ jps
xxxx Jps
xxxx Namenode
xxxx Secondarynamenode
xxxx JobTracker

在datanode端用jps查看启动情况,如下:

grid@centos2:~/hadoop-0.20.203$ jps
xxxx Jps
xxxx DataNode
xxxx TaskTracker

然后可以通过如下地址来查看集群运行状况:

http://centos1:50030
http://centos1:50070
http://centos2:50060


打完收工!!!

-------------我是分割线-------------

跑hadoop自带的wordcount程序

1、通过hadoop的命令在HDFS上创建/tmp/workcount目录,命令如下:bin/hadoop fs -mkdir /tmp/wordcount

2、通过copyFromLocal命令把本地的word.txt复制到HDFS上,命令如下:bin/hadoop fs -copyFromLocal /home/grid/word.txt  /tmp/wordcount/word.txt

3、通过命令运行例子,使用命令如下:bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/wordcount/word.txt  /tmp/wordcount/out

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/pxdfs.html