hadoop 0.20.2伪分布式安装详解

adoop 0.20.2伪分布式安装详解

hadoop有三种运行模式:

hadoop 0.20.2伪分布式安装详解

伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式。

完全分布式至少有3个节点,其中一个做master,运行名称节点(namenode)、作业跟踪器(jobtracker)等主要进程,另外两个做datanode,运行tasktracker,最好有两个,否则没有冗余,谈不上集群。

hadoop 0.20.2伪分布式安装详解

下载hadoop 0.20.2安装包:

解压后,放置在合适的位置,如/opt/Hadoop-0.20.2,执行以下命令:

tar -zxvf /opt/haddop-0.20.2

x表示展开文件,-x | --extract | --get 从存档展开文件

z表示用gzip对文档进行压缩或解压,-z | --gzip | --ungzip 用gzip对存档压缩或解压

-v | --verbose 详细显示处理的文件

-f | --file [HOSTNAME:]F 指定存档或设备(缺省为 /dev/rmt0)

如果指定解压目录,则最一个字符应当是“/”,否则就是文件了

hadoop 0.20.2伪分布式安装详解

进入Hadoop-0.20.2目录

vim conf/Hadoop-env.sh

其中的conf目录是config的缩写,通常是用来放置配置文件的目录,很多开源软件习惯于使用这个目录名称。Hadoop版本不同,配置文件可能也不同,要根据实际情况有所调整。

解压后,进入Hadoop-0.20.2目录,进行配置

hadoop 0.20.2伪分布式安装详解

本文配置这四个文件。

修改hadoop-env.sh文件

进入conf目录,找到图中的三个文件

vim hadoop-env.sh

hadoop 0.20.2伪分布式安装详解

找到JAVA_HOME那一项,或修改,或增加,由你选择,最后使

export JAVA_HOME=你的java目录

这一行生效。

此文件暂时仅配置这一项即可。

修改core-site.xml文件

然后

vim core-site.xml

hadoop 0.20.2伪分布式安装详解

最初的<configuration>项是空的,伪分布式完全按照图中的<property>部分添加即可。

完全分布式要把hdfs:项的主机名部分换成对应的IP或主机名,不管是什么,不会是localhost,此处要注意。

其中的fs.default.name用来指定namenode的IP地址和端口,用于和对应的节点联系。

修改hdfs-site.xml文件

vim hdfs-site.xml

hadoop 0.20.2伪分布式安装详解

与core-site相同,第一次进入时<configuration>项是空的,伪分布式完全按照红圈部分添加即可。完全分布式要修改dfs.replication部分的value,因为hadoop会往多个节点中复制数据用于备份,此处设置的是最大份数,也就是数据节点的数量,也就是小弟的数量,伪分布式只有一个节点,所以是1,写多了也没用。dfs.data.dir是数据节点的数据的存放位置。

hadoop 0.20.2伪分布式安装详解

其它参数不多讲。

修改mapred-site.xml

vim mapred-site.xml

hadoop 0.20.2伪分布式安装详解

作业跟踪器的位置,端口默认,无须修改。作业跟踪器是整个mapreduce系统调度的核心。

伪分布式照搬上图,完全分布式修改主机名。

hadoop 0.20.2伪分布式安装详解

其它参数,暂时不动。

生成SSH密钥对

hadoop 0.20.2伪分布式安装详解

输入su,切换到root用户

cd /root,进入root目录

运行ssh-kengen -t rsa

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zgwpsz.html