添加 httpfs的选项
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>192.168.216.131</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
同步代码到其他机器
1.同步配置代码
先在 slaves 的机器上也创建
mkdir -p /usr/local
部署hadoop代码,然后只要同步修改过的etc/hadoop下的配置文件即可 例如:hadoop1# scp –r hadoop root@hadoop2:/usr/local/
2.同步 /etc/profile
3.同步 /etc/hosts
#scp -r /etc/profile root@hadoop2:/etc/profile
#scp -r /etc/hosts root@hadoop2:/etc/hosts
其他机器以此操作
8)Hadoop启动
格式化集群
hadoop namenode -format -clusterid clustername
hsfs namenode-format
启动hdfs执行:
start-dfs.sh
开启 hadoop dfs服务 ;
启动Yarn
开启 yarn资源管理服务:
start-yarn.sh;
启动httpfs
开启 httpfs服务
httpfs.sh start
使得对外可以提高 http的restful接口服务
9)测试
安装结果验证
验证hdfs
在各台机器执行 jps看进程是否都已经启动了
[root@hadoop1 hadoop]# jps
7396 NameNode
24834 Bootstrap
7594 SecondaryNameNode
7681 ResourceManager
32261 Jps
[root@hadoop2 ~]# jps
8966 Jps
31822 DataNode
31935 NodeManager
进程启动正常
验证是否可以登陆
hadoop fs -ls hdfs:// 192.168.216.131:9000/
hadoop fs -mkdir hdfs:/ 192.168.216.131:9000/testfolder
hadoop fs -copyFromLocal ./xxxx hdfs:// 192.168.216.131:9000/testfolder
hadoop fs -ls hdfs:// 192.168.216.131:9000/testfolder
看以上执行是否正常
验证map/reduce
相关阅读:
Ubuntu 13.04上搭建Hadoop环境