$ sudo apt-get install ssh
$ sudo apt-get install rsync
生成密钥用于无密码登陆
ssh-keygen -C "larry.lv.word@gmail.com" -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
验证SSH是否可用
ssh localhost
如果返回 Agent admitted failure to sign using the key
解决办法:
ps -aux|grep agent察看ssh-agent有无运行,如果没有运行
~/.ssh$ ssh-agent
~/.ssh$ ssh-add id_rsa
安装
Hadoop-1.0.3.tar.gz
解压
~/.bashrc 文件最后一行加入:
HADOOP_HOME= /etc/hadoop
PATH=$PATH:$HADOOP_HOME/bin
source ./bashrc
修改配置文件,指定JDk安装路径
vi conf/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk-7
修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
vi conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
vi conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令
sudo bin/hadoop namenode -format
然后启动Hadoop,输入命令
sudo bin/start-all.sh
这个命令为所有服务全部启动。
最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:
:50030 (MapReduce的Web页面)
:50070 (HDfS的web页面)
更多Hadoop相关信息见Hadoop 专题页面 ?tid=13