hadoop三个配置文件的参数含义说明

1       获取默认配置

配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法:

1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key,配置hadoop集群。

2.浏览apache官网,三个配置文件链接如下:

这里是浏览hadoop当前版本号的默认配置文件,其他版本号,要另外去官网找。其中第一个方法找到默认的配置是最好的,因为每个属性都有说明,可以直接使用。另外,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。

2       常用的端口配置 2.1  HDFS端口

参数

 

描述

 

默认

 

配置文件

 

例子值

 

fs.default.name namenode

 

namenode RPC交互端口

 

8020

 

core-site.xml

 

hdfs://master:8020/

 

dfs.http.address 

 

NameNode web管理端口

 

50070

 

hdfs- site.xml

 

0.0.0.0:50070

 

dfs.datanode.address

 

datanode 控制端口

 

50010 

 

hdfs -site.xml 

 

0.0.0.0:50010

 

dfs.datanode.ipc.address

 

datanode的RPC服务器地址和端口

 

50020

 

hdfs-site.xml

 

0.0.0.0:50020

 

dfs.datanode.http.address

 

datanode的HTTP服务器和端口

 

50075

 

hdfs-site.xml 

 

0.0.0.0:50075

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzwxsw.html