Hadoop 2.5.2版本安装部署

Hadoop 2.5.2版本安装部署

软件及版本:

Hadoop版本

 

hadoop-2.5.2

     

操作系统

 

Red Hat Linux 6.4

 

32bit

 

JDK版本

 

jdk-8u25-linux-i586.rpm

     

软件准备:

下载hadoop-2.5.2:

wget

下载JDK:jdk-8u25-linux-i586.rpm
      Oracle.com/technetwork/java/javase/index.html

总体的流程如下:
1、实现ssh无密码验证配置
2、安装jdk,并配好环境变量
3、安装与配置Hadoop
4、格式化与启动
5、验证是否启动

Hadoop2.5.2 新特性 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

一.主机之间SSH无密码验证
 利用 :  ssh-kengen –t rsa 命令产生公钥,将个主机之间的公钥,相互拷贝到authorized_keys文件内。

二.安装JDK
安装好后,用java -version 检验下

配置环境变量:

###set java_env

export JAVA_HOME=/usr/java/jdk1.8.0_25/
export JRE_HOME=/usr/java/jdk1.8.0_25/jre
export CLASS_PATH=.:$CLASS_PATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

###set hadoop_env
export HADOOP_HOME=/home/linuxidc/hadoop-2.5.2
 
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export HADOOP_MAPRED_HOME=$HADOOP_HOME
 export HADOOP_YARN_HOME=$HADOOP_HOME
 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
 
 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
 export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"

三.部署配置Hadoop
解压Hadoop 到 自己的hadoop 目录

配置相关的配置文件
2.5.x版本的配置文件在:$Hadoop_Home/etc/hadoop  目录下
2.X版本较1.X版本改动很大,主要是用Hadoop MapReduceV2(Yarn) 框架代替了一代的架构,其中JobTracker 和 TaskTracker 不见了,取而代之的是 ResourceManager, ApplicationMaster 与 NodeManager 三个部分,而具体的配置文件位置与内容也都有了相应变化,具体的可参考文献:

(1)hadoop/etc/hadoop/hadoop-env.sh 与 hadoop/etc/hadoop/yarn-env.sh来配置两个文件里的JAVA_HOME

(2)etc/hadoop/core-site.xml,配置为:

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/linuxidc/hadoop-2.5.2/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://namenode:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>namenode</value>

</property> 

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property> 

</configuration>

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/c4595b34ab9342010582887681133288.html