<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node-1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/export/data/hopdata</value> </property> </configuration>
序号参数名默认值参数解释1 fs.defaultFS file:/// 文件系统主机和端口
2 io.file.buffer.size 4096 流文件的缓冲区大小
3 hadoop.tmp.dir /tmp/hadoop-${user.name} 临时文件夹
2.hdfs-site.xml
HDFS参数,如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>node-2:50090</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>
序号参数名默认值参数解释1 dfs.namenode.secondary.http-address 0.0.0.0:50090 secondary namenode 所在主机的ip和端口,定义HDFS对应的HTTP服务器地址和端口
2 dfs.namenode.name.dir file://${hadoop.tmp.dir}/dfs/name 定义DFS的名称节点在本地文件系统的位置
3 dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data 定义DFS数据节点存储数据块时存储在本地文件系统的位置
4 dfs.replication 3 缺省的块复制数量
5 dfs.webhdfs.enabled true 是否通过http协议读取hdfs文件,如果选是,则集群安全性较差
3.mapred-site.xml
Mapreduce参数,包括JobHistory Server和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等