Hadoop伪分布式部署

Hadoop的各个组件均可以利用xml文件进行配置。core-site.xml文件用户配置Common组件的属性,hdfs-site.xml文件用于配置HDFS的属性,而mapred-site.xml文件则用于配置MapReduce属性。这些配置文件都放在conf子目录中。

而在docs子目录中还存放有三个HTML文件,core-default.html, hdfs-default.html, mapred-default.html, 它们分别保存各组件的默认属性设置。

Hadoop的运行 模式

应该了解,Hadoop的运行模式包括三种:

独立模式(standalone或local model),

伪分布式模式(pseudo-distributed model),

全分布式模式(full-distributed model),

在特定的模式下运行Hadoop需要关注两个因素:正确设置属性和启动Hadoop守护进程。下表中列举了配置各种模式所需要的最小属性集合。在本机模式下,将使用本地文件系统和本地MapReduce作业运行器;在分布式模式下,将启动HDFS和MapReduce守护进程。

组件名称属性名称独立模式伪分布式模式全分布式模式
Common   fs.default.name   file:///
(默认)
  hdfs://localhost/   hdfs://namenode  
HDFS   dfs.replication   N/A   1   3(默认)  
MapReduce   mapred.job.tracker  

local

(默认)

  localhost://8021   jobtracker:8021  

下面讨论伪分布式部署的配置,分别在配置文件中设置这三个属性。

<!-- core-site.xml --> 
<configuration> 
    <property> 
        <name>fs.default.name</name> 
        <value>hdfs://localhost</value> 
    </property> 
</configuration> 

<!-- hdfs.xml --> 
<configuration> 
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
</configuration> 

<!-- mapred-sit.xml --> 
<configuration> 
    <property> 
        <name>mapred.jab.tracker</name> 
        <value>localhost:8021</value> 
    </property> 
</configuration> 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/5fb43ac651dd2ecdecf99ab92832989d.html