adoop 0.20.2伪分布式安装详解
hadoop有三种运行模式:
伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式。
完全分布式至少有3个节点,其中一个做master,运行名称节点(namenode)、作业跟踪器(jobtracker)等主要进程,另外两个做datanode,运行tasktracker,最好有两个,否则没有冗余,谈不上集群。
下载hadoop 0.20.2安装包:
解压后,放置在合适的位置,如/opt/Hadoop-0.20.2,执行以下命令:
tar -zxvf /opt/haddop-0.20.2
x表示展开文件,-x | --extract | --get 从存档展开文件
z表示用gzip对文档进行压缩或解压,-z | --gzip | --ungzip 用gzip对存档压缩或解压
-v | --verbose 详细显示处理的文件
-f | --file [HOSTNAME:]F 指定存档或设备(缺省为 /dev/rmt0)
如果指定解压目录,则最一个字符应当是“/”,否则就是文件了
进入Hadoop-0.20.2目录
vim conf/Hadoop-env.sh
其中的conf目录是config的缩写,通常是用来放置配置文件的目录,很多开源软件习惯于使用这个目录名称。Hadoop版本不同,配置文件可能也不同,要根据实际情况有所调整。
解压后,进入Hadoop-0.20.2目录,进行配置
本文配置这四个文件。
修改hadoop-env.sh文件进入conf目录,找到图中的三个文件
vim hadoop-env.sh
找到JAVA_HOME那一项,或修改,或增加,由你选择,最后使
export JAVA_HOME=你的java目录
这一行生效。
此文件暂时仅配置这一项即可。
修改core-site.xml文件然后
vim core-site.xml
最初的<configuration>项是空的,伪分布式完全按照图中的<property>部分添加即可。
完全分布式要把hdfs:项的主机名部分换成对应的IP或主机名,不管是什么,不会是localhost,此处要注意。
其中的fs.default.name用来指定namenode的IP地址和端口,用于和对应的节点联系。
修改hdfs-site.xml文件vim hdfs-site.xml
与core-site相同,第一次进入时<configuration>项是空的,伪分布式完全按照红圈部分添加即可。完全分布式要修改dfs.replication部分的value,因为hadoop会往多个节点中复制数据用于备份,此处设置的是最大份数,也就是数据节点的数量,也就是小弟的数量,伪分布式只有一个节点,所以是1,写多了也没用。dfs.data.dir是数据节点的数据的存放位置。
其它参数不多讲。
修改mapred-site.xmlvim mapred-site.xml
作业跟踪器的位置,端口默认,无须修改。作业跟踪器是整个mapreduce系统调度的核心。
伪分布式照搬上图,完全分布式修改主机名。
其它参数,暂时不动。
生成SSH密钥对输入su,切换到root用户
cd /root,进入root目录
运行ssh-kengen -t rsa