CentOS 5.x单机安装Hadoop

花了近两天时间,终于把Hadoop的安装,实例运行实践了一遍。虽然还有很多东西都不大懂,但总算有了个好的开端,也算是对自己的一点安慰吧。

一、JDK安装

我的系统的CentOS 5.X的linux distribution, 要安装Hadoop,首先要配置好JAVA环境,这个相对简单,从

下载JDK,我下载的是jdk-8u20-linux-x64.rpm的版本,这个是rmp的版本,可以用非常简单的语句安装:

rpm –ivh jdk-8u20-linux-amd64.rpm

并在/etc/profile里面添加环境变量(全局部量)声明如下:

export JAVA_HOME=/usr/java/default

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

写好后保存退出,可以重启linux或者运行命令 source /etc/profile 使得配置生效。

Linux是采用文件系统来建立操作系统,因此其一切访问离不开各种变量,环境变量是针对整个系统而言的,模块之间的相互调用,函数或shell命令的执行,需要环境变量来执行各种路径的搜

索,从而快速找到所需命令。

顺便还补充一点,我装JDK的时候,原先电脑上装的是jdk1.6,后来安装了1.8版本后,通过linux命令 java -version检测,发现没有改过来。不要担心,这是因为相应的命令文件还是指向的老版本。那咋办呢?

我的新版java安装在了/usr/java里,进入/usr/bin/目录下,你将会看到有四个文件,分别是java, javac,javadoc , javaws,原来的这些文件是link到了老的版本,现在只需要改变其指向,指向新的版本即可。具体的说明可参考:

二、Hadoop安装

下面开始折腾hadoop的安装。说是折腾,其实一点也不过份,大量时间都是在琢磨hadoop的配置问题。在网络上看了无数的安装,每位大虾好像都成功了,但移植到我的机器系统上来,

却因系统、软件版本、安装目录等各种原因,让人不知所措。因此,我只能以我的安装过程,来为朋友们提供一种参考。

我下载的是 hadoop-1.2.1-bin.tar.gz,这个版本可以从官网境像获得。这个文件是个二进制的,所要只要解压放到你想放的目录即可。接下来就是环境配置了。以我的为例,我的文件解压后

变成了hadoop-1.2.1文件夹,然后放在/usr/local/hadoop/下面,即是 /usr/local/hadoop/hadoop-1.2.1

的目录。进入到hadoop-1.2.1/conf文件夹下面,打开hadoop-env.sh,在最后面一行补上

export JAVA_HOME=/usr/java/defualt

注意,我这里是default,如果没有default,要换成具体的路径,总之就是指向java。然后是对三个文件进行修改。

对以下几个文件进行设置

core-site.xml

<<configuration>>

<<property>>

<<name>>fs.default.name<</name>>

<<value>>hdfs://localhost/<</value>>

<</property>>

<</configuration>>

hdfs-site.xml

<<configuration>>

<<property>>

<<name>>dfs.replication<</name>>

<<value>>1<</value>>

<</property>>

<</configuration>>

mapred-site.xml:

<<configuration>>

<<property>>

<<name>>mapred.job.tracker<</name>>

<<value>>localhost:8021<</value>>

<</property>>

<</configuration>>

注意,所有的双括号“《》”最后都要在改成“<>”,新浪博客现在显示不出html语言。

设置好以后,把hadoop-1.2.1/conf中的所有文件拷贝到/etc/hadoop文件夹中,如果没有/etc/hadoop文件夹,就自己建立一个。为什么要这样做,是因为hadoop-1.2.1/bin中的stall-all.sh启动后,其路径是指向/etc/hadoop,它要从此启动各种守护进程,关于几种进程,可以参考:

另外,还要设置hadoop的环境变量,不然hadoop1.2.1/bin/下面的函数怎么调用呢?所以又要打开/etc/profile文件,在后面再添加如下语句:

export HADOOP_INSTALL=/usr/local/hadoop/hadoop-1.2.1

export PATH=$PATH:$HADOOP_INSTALL/bin

这样,hadoop-1.2.1/bin下面的所有函数就可以直接使用了。

三、配置SSH

接下来是SSH设置的问题。SSH是Secure Shell Protocol的简写,它可以通过数据包加密技术将等待传输的数据包加密后再传输到网络上。为了确保用户通够SSH到本地主机,并不输入密码即可登录,可用以下方式建立无密码登录模式:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

用以下指令进行测试:

ssh localhost

如果成功,则无需键入密码。

四、实例测试

首先要了解一下hadoop的HDFS的思想。请参考

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/a95a8123364bb80a7a20568c754ff6e2.html