<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
<description>忽略虚拟内存的检查,如果你是安装在虚拟机上,这个配置很有用,配上去之后后续操作不易出问题。</description>
</property>
<property>
<!-- 调度策略,设置为公平调度器 -->
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
</configuration>
(5)slaves文件
#增加从节点地址(若配置了hosts,可直接使用主机名,亦可用IP地址)
[root@hadoop01 hadoop]# vim slaves
hadoop02
hadoop03
hadoop04
4. 将配置好的文件夹拷贝到其他从节点
[root@hadoop01 hadoop-2.7.7]# scp -r /opt/hadoop-2.7.7 root@hadoop02:/opt/
[root@hadoop01 hadoop-2.7.7]# scp -r /opt/hadoop-2.7.7 root@hadoop03:/opt/
[root@hadoop01 hadoop-2.7.7]# scp -r /opt/hadoop-2.7.7 root@hadoop04:/opt/
5. 初始化 & 启动
#格式化
[root@hadoop01 hadoop-2.7.7]# bin/hdfs namenode -format
#启动
[root@hadoop01 hadoop-2.7.7]# sbin/start-dfs.sh
[root@hadoop01 hadoop-2.7.7]# sbin/start-yarn.sh
6. 验证Hadoop启动成功
#主节点
[root@hadoop01 hadoop-2.7.7]# jps
5895 Jps
5624 ResourceManager
5356 NameNode
#从节点
[root@hadoop02 hadoop]# jps
5152 SecondaryNameNode
5085 DataNode
5245 NodeManager
5357 Jps
[root@hadoop03 opt]# jps
5080 DataNode
5178 NodeManager
5278 Jps
[root@hadoop04 opt]# jps
5090 NodeManager
5190 Jps
4991 DataNode
7. Web端口访问
注:先开放端口或直接关闭防火墙
# 查看防火墙状态
firewall-cmd --state
# 临时关闭
systemctl stop firewalld
# 禁止开机启动
systemctl disable firewalld
在浏览器输入::8088打开Hadoop Web页面。
在浏览器输入::50070打开Hadoop Web页面。
Hadoop基本操作命令
#hadoop dfsadmin -report 查看hdfs集群的存储空间使用情况。
#hadoop fs -du -h 目录 查看当前目录下各个文件占得内存
#hadoop fs –rmr /tmp/aaa删除一个目录
#hadoop fs –put文件 hdfs文件目录上传一个文件
#hadoop fs –get hdfs文件下载地址目录下载一个文件
#hadoop fs –moveFromLocal文件hdfs文件目录上传一个文件同时删除本地文件
#haddop fs –text hdfs目录查看文件内容
#haddopfs –cat hdfs目录查看文件内容
#hadoop job –list获取任务列表
#hadoop job –kill job-id杀死一个job
#hadoop-daemon.sh start datanoe加入一个新的节点
#hadoop mradmin/dfsadmin –refreshnones删除一个节点
#yarn application -kill application_任务id:停止在yarn上运行的spark任务,在resourcemanager上执行
#hadoop fs -ls .Trash/Current (显示Current目录)
#hadoop fs -rm -r .Trash/Current (删除Current目录及其子目录)