Hadoop2.6.0单机/伪分布式安装(2)

export JAVA_HOME=/home/hadoop/opt/jdk1.8.0_45 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

hadoop@ubuntu:~$ java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)
搞定~~~

下载安装 Hadoop 2.6

下载hadoop2.6,下载地址:

Hadoop2.6.0单机/伪分布式安装

注意:hadoop-2.6.0.tar.gz这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码。

同时强烈建议也下载 hadoop-2.6.0.tar.gz.mds 这个文件,该文件包含了检验值可用于检查 hadoop-2.6.0.tar.gz 的完整性,否则若文件发生了损坏或下载不完整,Hadoop 将无法正常运行。

解压缩hadoop

hadoop@ubuntu:~/opt$ sudo tar -zxvf hadoop-2.6.0.tar.gz

现在使用下列命令得出hadoop-2.6.0.tar.gz.mds的MD5值:

$ cat ./hadoop-2.6.0.tar.gz.mds | grep 'MD5'

出现下面的结果:

hadoop-2.6.0.tar.gz: MD5 = 37 F3 71 FA AB 03 3B B8 C2 CB 50 10 0C 57 74 DC

计算hadoop-2.6.0.tar.gz的MD5值,使用下面的命令:

$ ~/opt$ md5sum ./hadoop-2.6.0.tar.gz | tr "a-z" "A-Z"

出现下面的结果:

37F371FAAB033BB8C2CB50100C5774DC ./HADOOP-2.6.0.TAR.GZ

字符对应相等,说明安装包没有问题

修改文件权限:

sudo chown -R hadoop:hadoop ./hadoop-2.6.0

输入如��命令来检查 Hadoop 是否可用:

hadoop@ubuntu:~/opt$ cd ./hadoop-2.6.0 hadoop@ubuntu:~/opt/hadoop-2.6.0$ ./bin/hadoop

成功则会显示命令用法:

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
fs run a generic filesystem user client
version print the version
jar <jar> run a jar file
checknative [-a|-h] check native hadoop and compression libraries availability
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
credential interact with credential providers
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
trace view and modify Hadoop tracing settings
or
CLASSNAME run the class named CLASSNAME

Most commands print help when invoked w/o parameters.

Hadoop单机配置

Hadoop 默认配置是以非分布式模式运行,即单 Java 进程,方便进行调试。可以执行附带的例子 WordCount 来感受下 Hadoop 的运行。将 input 文件夹中的文件作为输入,统计当中符合正则表达式 wo[a-z.]+ 的单词出现的次数,并输出结果到 output 文件夹中。

$ cd /usr/local/hadoop $ mkdir input $ cp ./etc/hadoop/*.xml input $ ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'wo[a-z.]+' $ cat ./output/*

执行成功后如下所示,输出了作业的相关信息,输出的结果是符合正则的单词dfsadmin出现了1次

hadoop@ubuntu:~/opt/hadoop-2.6.0$ cat ./output/*
2 word
1 work

如果需要再次运行,需要删除output文件夹(因为Hadoop 默认不会覆盖结果文件):

$ sudo rm -rf output

Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/0e077c5bf53c68701ec307d581bf7cb5.html