在 Linux Ubuntu 18.04/18.10上安装Hadoop图文详解(2)

export HADOOP_HOME=/home/linuxidc/hadoop-2.8.5
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

在当前登录会话中获取.bashrc。

$ source ~/.bashrc

编辑Hadoop安装目录中/etc/hadoop中的hadoop-env.sh文件，并进行以下更改并检查是否要更改任何其他配置。

nano /etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8.0_192
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/home/linuxidc/hadoop-2.8.5/etc/hadoop"}

更改core-site.xml文件中的配置

使用vim编辑core-site.xml，或者您可以使用任何编辑器。 该文件位于hadoop主目录下的/ etc / hadoop下，并添加以下条目。

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadooptmpdata</value>
</property>
</configuration>

另外，在hadoop主文件夹下创建目录。

$ mkdir hadooptmpdata

hdfs-site.xml文件中的配置更改

编辑位于同一位置的hdfs-site.xml，即hadoop安装目录中的/ etc / hadoop，并在hadoop用户主目录下创建Namenode / Datanode目录。

$ mkdir -p hdfs/namenode
$ mkdir -p hdfs/datanode

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hdfs/namenode</value>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hdfs/datanode</value>
</property>
</configuration>

配置更改mapred-site.xml文件

使用cp命令从mapred-site.xml.template复制mapred-site.xml，然后使用以下更改编辑位于hadoop instillation目录下的/etc/hadoop中的mapred-site.xml。

$ cp mapred-site.xml.template mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

在yarn-site.xml配置文件中更改

使用以下条目编辑yarn-site.xml。

<configuration>
<property>
<name>mapreduceyarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

启动Hadoop集群

首次使用之前格式化namenode。 由于HDFS用户运行以下命令来格式化Namenode。

$ hdfs namenode -format

格式化Namenode后，使用start-dfs.sh脚本启动HDFS。

要启动YARN服务，您需要执行纱线启动脚本，即start-yarn.sh

要验证所有Hadoop服务/守护程序是否已成功启动，您可以使用jps命令。

/opt/jdk1.8.0_192/bin/jps
20035 SecondaryNameNode
19782 DataNode
21671 Jps
20343 NodeManager
19625 NameNode
20187 ResourceManager

现在我们可以在命令下检查您可以使用的当前Hadoop版本：

$ hadoop version

或者

$ hdfs version

HDFS命令行界面

要访问HDFS并在DFS之上创建一些目录，您可以使用HDFS CLI。

$ hdfs dfs -mkdir /test
$ hdfs dfs -mkdir /hadooponubuntu
$ hdfs dfs -ls /

从浏览器访问Namenode和YARN

您可以通过任何浏览器（如Google Chrome / Mozilla Firefox）访问NameNode的Web UI和YARN Resource Manager。

Namenode Web UI - <hadoop cluster hostname/IP address>:50070

YARN资源管理器（RM）Web界面将显示当前Hadoop集群上的所有正在运行的作业。

资源管理器Web UI- <hadoop cluster hostname/IP address>:8088

总结