Hadoop多台机器集群的配置(3)

4.配置Hadoop
这次我配置的hadoop的版本是hadoop-1.1.2 。配置一点几的版本基本上都差不多。注意,配置hadoop在一台机器上配置好整个hadoop目录的内容,之后只需要将hadoop整个文件夹scp到其他的机器就可以了。
主要配置六个配置文件
1. hadoop-env.sh
Java home的目录配置好,这步不用多说。
2. core-site.xml
<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://master:49000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadooper/hadooptmp</value>

</property>

</configuration>

3.hdfs-site.xml
<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

4.mapred-site.xml
<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:49001</value>

</property>

</configuration>

5. masters 文件
我的文件内容为


master


因为此前已经配置好hosts文件,把ip和机器名对应了起来。如果没有配置hosts文件,此处用对应的ip代替。


6. slaves 文件
我的文件内容为


slave1
slave2


同上


这样在一个机器上的hadoop文件夹就配置好了。现在就可以将这个文件夹用
scp -r hadoop-1.1.2 hzm@192.168.28.130:~    来把整个hadoop文件夹复制到其他机器的用户主目录了。


复制完成之后,可以从master机器上启动hadoop。命令为
bin/hadoop namenode -format    #格式化dfs
bin/start-all.sh    #启动namenode datanode  Jobstracker Taskstracker


不出意外的话,可以从 用浏览器master:50030 和master:50070上查看dfs和mapreduce的状态了。

5.其他
在配置的过程中,ssh的过程可能会遇到比较多的问题。这个时候除了以上介绍的方法外,可以去试着改变一下.ssh文件的目录。好像在一些系统下这个会导致.ssh 配置出现问题。如果在添加用户或者之类的文件出现了linux系统的问题,可以用recovery模式下更改权限等。另外尽量不要去直接编辑/etc/sudoers文件。之后我会尝试着写脚本来简化所有的配置过程。大家有问题可以留言里回复。谢谢。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/4ea91e70e27ca5ac05492376c3bea919.html