Hadoop实战之分布式模式

1. 首先为Hadoop的集群准备几台机器，这里机器名如下：

[plain]

fkongnix0 (master)   fkongnix1 (slave1)   fkongnix2 (slave2)  

2. 修改每个机器的/etc/hosts文件，确保每个机器都可以通过机器m名互相访问；

3. 在上面每个机器上的相同位置分别安装hadoop，这里安装的都是hadoop-0.20.203.0rc1.tar.gz包，并且假定安装路径都是/data/fkong/hadoop-0.20.203.0；

4. 修改所有机器上的${HADOOP_HOME}/conf/hadoop-env.sh文件，将JAVA_HOME指定到正确的jdk路径上；

5. 修改master机器上的${HADOOP_HOME}/conf/slaves文件，修改后文件内容如下：

[plain]

fkongnix1   fkongnix2  

6. 修改和部署配置文件

6.1 编辑${HADOOP_HOME}/conf/core-site.xml文件，内容修改如下：

[plain]

<configuration>     <property>       <name>fs.default.name</name>       <value>hdfs://fkongnix0:9000</value>     </property>     <property>       <name>hadoop.tmp.dir</name>       <value>/data/fkong/hadoop-0.20.203.0/hadoop-${user.name}</value>     </property>   </configuration>  

6.2 编辑${HADOOP_HOME}/conf/hdfs-site.xml文件，内如修改如下：

[plain]

<configuration>     <property>         <name>dfs.replication</name>         <value>1</value>     </property>   </configuration>  

6.3 编辑${HADOOP_HOME}/conf/mapred-site.xml文件，内如修改如下：

[plain]

<configuration>     <property>         <name>mapred.job.tracker</name>         <value>fkongnix0:9001</value>     </property>   </configuration>  

6.4 将以上三个配置文件分别部署的每个slave节点上；

7. 格式化一个新的分布式文件系统:

[plain]

$ bin/hadoop namenode -format