Hadoop 2.0集群配置详细教程[虚拟机下配置成功](3)

添加 httpfs的选项
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>192.168.216.131</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

同步代码到其他机器

1.同步配置代码
先在 slaves 的机器上也创建
mkdir -p /usr/local
部署hadoop代码,然后只要同步修改过的etc/hadoop下的配置文件即可  例如:hadoop1# scp –r hadoop root@hadoop2:/usr/local/
2.同步 /etc/profile
3.同步 /etc/hosts
#scp -r /etc/profile root@hadoop2:/etc/profile
#scp -r /etc/hosts root@hadoop2:/etc/hosts

其他机器以此操作


8)Hadoop启动

格式化集群

hadoop namenode -format -clusterid clustername

hsfs namenode-format

启动hdfs执行:
start-dfs.sh

开启 hadoop dfs服务 ;
启动Yarn

开启 yarn资源管理服务:
start-yarn.sh;

启动httpfs

开启 httpfs服务
httpfs.sh start
使得对外可以提高 http的restful接口服务


9)测试

安装结果验证

验证hdfs

在各台机器执行 jps看进程是否都已经启动了

[root@hadoop1 hadoop]# jps
7396 NameNode
24834 Bootstrap
7594 SecondaryNameNode
7681 ResourceManager
32261 Jps

[root@hadoop2 ~]# jps
8966 Jps
31822 DataNode
31935 NodeManager

进程启动正常

验证是否可以登陆
hadoop fs -ls hdfs:// 192.168.216.131:9000/
hadoop fs -mkdir hdfs:/ 192.168.216.131:9000/testfolder
hadoop fs -copyFromLocal ./xxxx hdfs:// 192.168.216.131:9000/testfolder
hadoop fs -ls hdfs:// 192.168.216.131:9000/testfolder

看以上执行是否正常


验证map/reduce

相关阅读

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/481d0ec52acd8ff14208cd3a1bf81a72.html