CentOS下Hadoop+Hbase+ZooKeeper分布式存储部署详解(2)

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
    <configuration>
    <property>
      <name>mapred.job.tracker</name>
      <value>node1:9001</value>
    </property>
</configuration>

3)修改vi/data/hadoop/etc/hadoop/hdfs-site.xml内容为如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/configuration.xsl"?>
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/data/hadoop/data_name1,/data/hadoop/data_name2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hadoop/data_1,/data/hadoop/data_2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

4)在/data/hadoop/etc/hadoop/hadoop-env.sh文件末尾追加JAV_HOME变量:

echo "export JAVA_HOME=/usr/java/jdk1.7.0_25/" >> /data/hadoop/etc/hadoop/hadoop-env.sh

5)修改 vi /data/hadoop/etc/hadoop/masters文件内容为如下:

node1

6)修改vi/data/hadoop/etc/hadoop/slaves文件内容为如下:

node2
node3

如上配置完毕,以上的配置具体含义在这里就不做过多的解释了,搭建的时候不明白,可以查看一下相关的官方文档。

如上namenode就基本搭建完毕,接下来我们需要部署datanode,部署datanode相对简单,执行如下操作即可。

for  i  in  `seq 88 89 ` ; do scp -r  /data/hadoop/  root@192.168.172.$i:/data/  ; done

自此整个集群基本搭建完毕,接下来就是启动hadoop集群了。

六、启动hadoop并测试

在启动hadoop之前,我们需要做一步非常关键的步骤,需要在namenode上执行如下命令初始化name目录和数据目录。

cd  /data/hadoop/ ; ./bin/hadoop namenode -format

那如何算初始化成功呢,如下截图成功创建name目录即正常:

CentOS下Hadoop+Hbase+ZooKeeper分布式存储部署详解

然后启动hadoop所有服务,如下命令:

[root@node1 hadoop]# ./sbin/start-all.sh

CentOS下Hadoop+Hbase+ZooKeeper分布式存储部署详解

我们还可以查看相应的端口是否启动:netstat -ntpl

CentOS下Hadoop+Hbase+ZooKeeper分布式存储部署详解

访问如下地址::50070/

CentOS下Hadoop+Hbase+ZooKeeper分布式存储部署详解

访问地址::8088/

CentOS下Hadoop+Hbase+ZooKeeper分布式存储部署详解

搭建完成后,我们简单的实际操作一下,如下图:

CentOS下Hadoop+Hbase+ZooKeeper分布式存储部署详解

自此hadoop基本搭建完毕。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/d332a3d82ee1727d0af5cfc43b580faa.html