Hadoop的各个组件均可以利用xml文件进行配置。core-site.xml文件用户配置Common组件的属性,hdfs-site.xml文件用于配置HDFS的属性,而mapred-site.xml文件则用于配置MapReduce属性。这些配置文件都放在conf子目录中。
而在docs子目录中还存放有三个HTML文件,core-default.html, hdfs-default.html, mapred-default.html, 它们分别保存各组件的默认属性设置。
Hadoop的运行 模式
应该了解,Hadoop的运行模式包括三种:
独立模式(standalone或local model),
伪分布式模式(pseudo-distributed model),
全分布式模式(full-distributed model),
在特定的模式下运行Hadoop需要关注两个因素:正确设置属性和启动Hadoop守护进程。下表中列举了配置各种模式所需要的最小属性集合。在本机模式下,将使用本地文件系统和本地MapReduce作业运行器;在分布式模式下,将启动HDFS和MapReduce守护进程。
组件名称属性名称独立模式伪分布式模式全分布式模式Common fs.default.name file:///
(默认) hdfs://localhost/ hdfs://namenode
HDFS dfs.replication N/A 1 3(默认)
MapReduce mapred.job.tracker
local
(默认)
localhost://8021 jobtracker:8021下面讨论伪分布式部署的配置,分别在配置文件中设置这三个属性。
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost</value>
</property>
</configuration>
<!-- hdfs.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
<!-- mapred-sit.xml -->
<configuration>
<property>
<name>mapred.jab.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>