Hadoop 1.0伪分布安装

$ sudo apt-get install ssh

$ sudo apt-get install rsync

生成密钥用于无密码登陆

ssh-keygen -C "larry.lv.word@gmail.com" -t rsa


cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

验证SSH是否可用

ssh localhost

如果返回 Agent admitted failure to sign using the key 
解决办法:

ps -aux|grep agent察看ssh-agent有无运行,如果没有运行

~/.ssh$ ssh-agent


~/.ssh$ ssh-add id_rsa


安装

Hadoop-1.0.3.tar.gz

解压

~/.bashrc 文件最后一行加入:


HADOOP_HOME= /etc/hadoop

PATH=$PATH:$HADOOP_HOME/bin

source ./bashrc

修改配置文件,指定JDk安装路径
 vi conf/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk-7

修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
 vi conf/core-site.xml
 <configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>   
     </property>
 </configuration>


修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
 vi conf/hdfs-site.xml
 <configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
 </configuration>


修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
 vi conf/mapred-site.xml
 <configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
 </configuration>


接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令
 sudo bin/hadoop namenode -format


然后启动Hadoop,输入命令
 sudo bin/start-all.sh


这个命令为所有服务全部启动。

最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:

:50030    (MapReduce的Web页面)

:50070    (HDfS的web页面)

更多Hadoop相关信息见Hadoop 专题页面 ?tid=13

linux

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/fec1a7420e31df19f222bef3964c1686.html