Hadoop2.0完全分布式集群搭建方法(CentOS7+Hadoop2.(3)

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
        <description>忽略虚拟内存的检查,如果你是安装在虚拟机上,这个配置很有用,配上去之后后续操作不易出问题。</description>
    </property>
    <property>
      <!-- 调度策略,设置为公平调度器 -->
      <name>yarn.resourcemanager.scheduler.class</name>
      <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
</configuration>

(5)slaves文件

#增加从节点地址(若配置了hosts,可直接使用主机名,亦可用IP地址)
[root@hadoop01 hadoop]# vim slaves
hadoop02
hadoop03
hadoop04

4. 将配置好的文件夹拷贝到其他从节点

[root@hadoop01 hadoop-2.7.7]# scp -r /opt/hadoop-2.7.7 root@hadoop02:/opt/
[root@hadoop01 hadoop-2.7.7]# scp -r /opt/hadoop-2.7.7 root@hadoop03:/opt/
[root@hadoop01 hadoop-2.7.7]# scp -r /opt/hadoop-2.7.7 root@hadoop04:/opt/

5. 初始化 & 启动

#格式化
[root@hadoop01 hadoop-2.7.7]# bin/hdfs namenode -format

#启动
[root@hadoop01 hadoop-2.7.7]# sbin/start-dfs.sh
[root@hadoop01 hadoop-2.7.7]# sbin/start-yarn.sh

6. 验证Hadoop启动成功

#主节点
[root@hadoop01 hadoop-2.7.7]# jps
5895 Jps
5624 ResourceManager
5356 NameNode

#从节点
[root@hadoop02 hadoop]# jps
5152 SecondaryNameNode
5085 DataNode
5245 NodeManager
5357 Jps

[root@hadoop03 opt]# jps
5080 DataNode
5178 NodeManager
5278 Jps

[root@hadoop04 opt]# jps
5090 NodeManager
5190 Jps
4991 DataNode

7. Web端口访问

注:先开放端口或直接关闭防火墙

# 查看防火墙状态
firewall-cmd --state
# 临时关闭
systemctl stop firewalld
# 禁止开机启动
systemctl disable firewalld

在浏览器输入::8088打开Hadoop Web页面。

在浏览器输入::50070打开Hadoop Web页面。

Hadoop基本操作命令

#hadoop dfsadmin -report 查看hdfs集群的存储空间使用情况。
#hadoop fs -du -h 目录  查看当前目录下各个文件占得内存
#hadoop fs –rmr /tmp/aaa删除一个目录
#hadoop fs –put文件 hdfs文件目录上传一个文件
#hadoop fs –get  hdfs文件下载地址目录下载一个文件
#hadoop fs –moveFromLocal文件hdfs文件目录上传一个文件同时删除本地文件
#haddop fs –text hdfs目录查看文件内容
#haddopfs –cat hdfs目录查看文件内容
#hadoop job –list获取任务列表
#hadoop job –kill job-id杀死一个job
#hadoop-daemon.sh start datanoe加入一个新的节点
#hadoop mradmin/dfsadmin –refreshnones删除一个节点
#yarn application -kill application_任务id:停止在yarn上运行的spark任务,在resourcemanager上执行
#hadoop fs -ls .Trash/Current (显示Current目录)
#hadoop fs -rm -r .Trash/Current (删除Current目录及其子目录)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/285d5879d64f65e4a39d5693dc66215f.html