64安装与配置Hadoop

一、集群部署介绍

1.1 Hadoop简介

  Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

  对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个Job被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。

  从上面的介绍可以看出,HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。

相关阅读:

Ubuntu 13.04上搭建Hadoop环境 

Hadoop权威指南(中文版-带目录索引)PDF 

1.2 环境说明

  集群中包括4个节点:1个Master,3个Salve,节点之间局域网连接,可以相互ping通。

机器名称

 

IP地址

 

Master

 

192.168.1.21

 

Slave1

 

192.168.1.22

 

Slave2

 

192.168.1.23

 

Slave3

 

192.168.1.24

 

  四个节点上均是CentOS6.3系统,并且有一个相同的用户hadoop。Master机器主要配置NameNode和JobTracker的角色,负责总管分布式数据和分解任务的执行;3个Salve机器配置DataNode和TaskTracker的角色,负责分布式数据存储以及任务的执行。其实应该还应该有1个备用Master机器,以防止主Master服务器宕机,还有一个备用马上启用。后续经验积累一定阶段后补上一台备用Master机器。

二、环境配置
对四台机器都需要做相同的配置
1,需要用主机名来通信,没dns则修改此文件,以达到同样的效果
#vim /etc/hosts
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1        localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.21 master
192.168.1.22 slave1
192.168.1.23 slave2
192.168.1.24 slave3
2,安装JDK
# rpm -vih jdk-7u21-linux-x64.rpm
Preparing...                ########################################### [100%]
  1:jdk                    ########################################### [100%]
Unpacking JAR files...
rt.jar...
jsse.jar...
charsets.jar...
tools.jar...
Localedata.jar...
#ln -s /usr/Java/jdk1.7.0_21/  /usr/java/jdk
#vim /etc/profile
JAVA_HOME=/usr/java/jdk
PATH=$PATH:$JAVA_HOME/bin
# source  /etc/profile
3,利用hadoop普通用户来运行hadoop,增强其安全性
# useradd hadoop
#echo "bingodeng" | passwd --stdin hadoop
4,配置hadoop
# tar xf hadoop-1.0.3.16.tar.gz  -C /usr/local/
#mkdir /usr/local/hadoop-1.0.3.16.tar.gz/tmp
#ln -sv /usr/local/hadoop-1.0.3.16 /usr/local/hadoop
# chown -R hadoop:hadoop  /usr/local/hadoop-1.0.3.16
#chown -R  hadoop:hadoop  /usr/local/hadoop
添加hadoop命令到环境变量中
#vim /etc/profile.d/hadoop.sh 新建hadoop.sh文件
HADOOP_PREFIX=/usr/local/hadoop
PATH=$HADOOP_PREFIX/bin:$PATH
export HADOOP_PREFIX PATH
验证hadoop命令
[root@master ~]# su - hadoop
[hadoop@master ~]$ hadoop version
Hadoop 1.0.3.16
Subversion git://localhost.localdomain/ on branch hdp-hadoop-1.0.3.16 -r 6cbf3791d67a1c726ce81927045e54eb1f2e3a95
Compiled by jenkins on Mon Oct  1 06:49:26 PDT 2012
From source with checksum d351ec52aec40ae43fb833c8cc54a6c5
(1)Hadoop的配置文件解释

(1)Hadoop的配置文件解释
hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息,比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等;
core-site.xml: 用于定义系统级别的参数,它作用于全部进程及客户端,如HDFS URL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等,此中的参数定义会覆盖core-default.xml文件中的默认配置;
hdfs-site.xml: HDFS的相关设定,如文件副本的个数、块大小及是否使用强制权限等,此中的参数定义会覆盖hdfs-default.xml文件中的默认配置;
mapred-site.xml:mapreduce的相关设定,如reduce任务的默认个数、任务所能够使用内存的默认上下限等,此中的参数定义会覆盖mapred-default.xml文件中的默认配置;
masters: hadoop的secondary-masters主机列表,当启动Hadoop时,其会在当前主机上启动NameNode和JobTracker,然后通过SSH连接此文件中的主机以作为备用NameNode;
slaves:Hadoop集群的slave(datanode)和tasktracker的主机列表,master启动时会通过SSH连接至此列表中的所有主机并为其启动DataNode和taskTracker进程;
Hadoop-metrics2.properties:控制metrics在hadoop上如何发布属性
Log4j.properties:系统日志文件、namenode审计日志、tarsktracker子进程的任务日志属性

(2)修改hadoop-env.sh
# cd /usr/local/hadoop-1.0.3.16/
#vim conf/hadoop-env.sh  在最后添加这两行
# set java environment
export JAVA_HOME=/usr/java/jdk
(3)修改core-site.xml
#vim conf/core-site.xml
<configuration>
<property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/tmp</value>
      <description>A base for other temporary directories.</description>
  </property>
<!-- file system properties -->
  <property>
      <name>fs.default.name</name>
      <value>hdfs://192.168.1.21:9000</value>
  </property>
</configuration>
注释:
hadoop.tmp.dir属性用于定义Hadoop的临时目录,其默认为/tmp/hadoop-${username}。HDFS进程的许多目录默认都在此目录中,本示例将其定义到了/usr/local/hadoop/tmp目录,需要注意的是,要保证运行Hadoop进程的用户对其具有全部访问权限。
fs.default.name属性用于定义HDFS的名称节点和其默认的文件系统,其值是一个URI,即NameNode的RPC服务器监听的地址(可以是主机名)和端口(默认为8020)。其默认值为file:///,即本地文件系统。
(4)修改hdfs-site.xml文件
#vim conf/hdfs-site.xml
<configuration>
  <property>
      <name>dfs.replication</name>
      <value>3</value>
  </property>
</configuration>
注释:
HDFS集群进程有许多属性可以定义其工作路,
dfs.name.dir属性定义的HDFS元数据持久存储路径默认为${hadoop.tmp.dir}/dfs/name、dfs.data.dir属性定义的DataNode用于存储数据块的目录路径默认为${hadoop.tmp.dir}/dfs/data、fs.checkpoint.dir属性定义的SecondaryNameNode用于存储检查点文件的目录默认为${hadoop.tmp.dir}/dfs/namesecondary。
dfs.replication属性定义保存副本的数量,默认是保存3份。
(5)修改mapred-site.xml文件
#vim conf/mapred-site.xml
<configuration>
  <property>
      <name>mapred.job.tracker</name>
      <value>:9001</value>
  </property>
</configuration>
(6)编辑masters文件
masters用于指定辅助名称节点(SecondaryNameNode)的主机名或主机地址
#vim conf/masters  改成ip或主机名,不过最好改成ip
192.168.1.21
(7)编辑slaves文件,这个文件只需在master主机上编辑就行
用于指定各从服务器(TaskTracker或DataNode)的主机名或主机地址
#vim conf/slaves  改成ip或主机名,不过最好改成ip
192.168.1.22
192.168.1.23
192.168.1.24

更为详尽的讲解见

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/dd11859209f9773d5aeb861da570ea47.html