Hadoop 2.4 完全分布式环境安装与配置

1. 从Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载tar.gz格式的,32位和64位机器对应下载,这里下的是64位的

wget

2. 解压到/usr/local

tar -jxvf jdk-7u51-linux-x64.tar.gz -C /usr/local

3. 配置符号链接:cd /usr/local; ln -snf jdk1.7.0_45/ jdk

4. 配置环境变量到~/.bashrc

export JAVA_HOME="/usr/local/jdk"

export PATH="$JAVA_HOME/bin:$PATH"

5. 命令行下使用java、javax命令判断是否安装成功。

6. 在其他机器上

Hosts

所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为ip

Hadoop 2.4 完全分布式环境安装与配置

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

Hadoop LZO 安装教程

Hadoop集群上使用Lzo压缩

--------------------------------------分割线 --------------------------------------

SSH 无密码登陆

首先要配置本机的SSH服务器,运行 ps -e | grep ssh,查看是否有sshd进程,如果没有,说明server没启动,通过 /etc/init.d/ssh -start 启动server进程,如果提示ssh不存在 那么就是没安装server。Ubuntu下通过 sudo apt-get install openssh-server命令安装即可。

(1)生成当前用户的SSH公钥。

$ ssh-keygen -t rsa -P ''

它在/home/[你当前登录的用户名] 下生成.ssh目录(root用户即是在/root目录下),.ssh下有id_rsa和id_rsa.pub。id_rsa.pub即是本地SSH生成的公钥文件。客户端机器将id_rsa.pub文件添加到自己的~/.ssh/authorized_keys文件中即可免密码登录到本机。

(2)将~/.ssh/id_rsa.pub添加到目标机器的~/.ssh/authorized_keys文件中

•如果是本机的操作,则使用

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将要登录的机器的公钥添加到本地的认证密钥库中。注意这里必须要用>>操作符进行追加操作。

使用

ssh localhost

命令即可免密码登录到本地。

•如果是将自己的公钥发送到别的机器上。

可以使用

scp ~/.ssh/id_rsa.pub root@172.24.253.2:.ssh/id_rsa.pub

这条scp命令进行文件上传操作。

安装Hadoop

下载Hadoop

最新版本hadoop-2.4.0安装包为 hadoop-2.4.0.tar.gz

下载官网地址 :

下载到 /opt/hadoop/source 目录下

wget

解压目录

tar zxvf hadoop-2.4.0.tar.gz

最终是这样子:

Hadoop 2.4 完全分布式环境安装与配置

环境配置项

配置环境变量:

vim /etc/profile

添加

export HADOOP_DEV_HOME=/opt/hadoop/source
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/e641387930473fe7458583b07e2fb621.html