Ubuntu下Hadoop单机部署及分布式集群部署

重要
安装文档
在选择网络连接时，选择桥接模式

设置root用户密码
打开终端 ctrl+Alt+T
修改root 密码 sudo passwd root
输入密码
用户root用户登录 su root

Ubuntu 8.10 默认没有安装ssh服务 ,需要手动安装以后才能实现 
sudo apt-get install ssh
或sudo apt-get install openssh-server //安装openssh-server
用ifconfig查看ip地址
远程用crt连接
ubuntu 10.2.128.46
ubuntu1 10.2.128.20
ubuntu2 10.2.128.120

安装vim
sudo apt-get install vim

1、安装JDK

1.1、到官网下载相关的JDK

这里下载的是 jdk-6u23-linux-i586.bin。

下载地址：
找jdk6

放置在/home/linuxidc
sudo sh jdk-6u23-linux-i586.bin
cp -rf jdk1.6.0_33/ /usr/lib/

sudo gedit /etc/environment
export JAVA_HOME=/usr/lib/jdk1.6.0_33
export JRE_HOME=/usr/lib/jdk1.6.0_33/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

vim /etc/profile
export JAVA_HOME=/usr/lib/jdk1.6.0_33
export JRE_HOME=/usr/lib/jdk1.6.0_33/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$JAVA_HOME/bin

加在umak前即可

reboot
root@linuxidc-virtual-machine:/etc# java -version
java version "1.6.0_33"
Java(TM) SE Runtime Environment (build 1.6.0_33-b03)
Java HotSpot(TM) Client VM (build 20.8-b03, mixed mode)

JDK环境的操作需要在所有的namenode和datanode上面进行操作。

2、增加一个用户组用户，用于Hadoop运行及访问。
sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop
删除用户
在root用户下：userdel -r newuser
在普通用户下：sudo userdel -r newuser
先退出 再删除

3、生成SSH证书，配置SSH加密key

su - hadoop                         //切换到hadoop用户
  ssh-keygen -t rsa -P ""             //生成ssh key
  cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys  //设置允许ssh访问

设置完成后通过ssh localhost测试一下。

4、下载hadoop发行版，地址：

已拷贝到opt

tar -zxvf hadoop-0.20.2.tar.gz

5、修改主机名 linuxidc-virtual-machine
root@linuxidc-virtual-machine:/opt# hostname
linuxidc-virtual-machine
假定我们发现我们的机器的主机名不是我们想要的，通过对"/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值，改成我们规划的名称。
vim /etc/hostname
Master.Hadoop
reboot后变为
root@Master:~# hostname
Master.Hadoop

vim /etc/hosts
127.0.1.1       Master.Hadoop

4.关掉ipv6
  修改hadoop根目录下conf/hadoop-env.sh文件(还没下载hadoop的下载解压先～)
  export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true

cat /proc/sys/net/ipv6/conf/all/disable_ipv6
为0 

备选情况：为1是成功，应使用以下方式
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1、

5、将hadoop目录所有者更改为hadoop
chown -R hadoop:hadoop /opt/hadoop-0.20.2/
mv hadoop-0.20.2 hadoop
6.安装hadoop
下面说说如何配置和启动：
基本思路
a、配置JDK
b  配置core-site.xml
c  mapred-site.xml
d  hdfs-site.xml

创建存放数据的目录
mkdir /opt/hadoop-datastore

打开conf/core-site.xml,配置如下
<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-datastore/</value>
    <description>A base for other temporary directories.</description>
  </property>

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:54310</value>
    <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
  </property>
</configuration>

mapred-site.xml如下：