打怪升级之小白的大数据之旅(四十三)＜Hadoop运行模式(集群搭建)＞ (5)

第一步：配置workers，它的作用是，在我们启动集群时，就会找到该集群中工作的节点

# 设置需要运行的节点服务器名称 vim /opt/module/hadoop-3.1.3/etc/hadoop/workers # 在该文件中添加如下信息： hadoop102 hadoop103 hadoop104

第二步： 同样的，我们修改该配置后，进行分发，同步一下配置信息

xsync /opt/module/hadoop-3.1.3/etc

第三步：启动集群

如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）# 格式化NameNode节点 hdfs namenode -format

格式化后启动HDFS节点start-dfs.sh

在配置了ResourceManager的节点（hadoop103）启动YARNstart-yarn.sh

使用web查看Hadoop运行状态

当我们启动了HDFS和YARN后，要查看是否启动成功，在浏览器中使用下面的链接

:9870/ 查看HDFS

:8088/ 查看执行过的Job

:9868/ 2NN信息的页面

:19888 查看历史服务

历史服务打不开是因为我们还没有配置，别急，等一下就来讲如何配置

我们在打开hadoop104的页面后，如不是下面这页面的话，需要修改下配置文件

# 1.进入需要修改配置的文件路径 cd $HADOOP_HOME/share/hadoop/hdfs/webapps/static # 2. 查看dfs-dust.js的第61行 return moment(Number(v)).format(\'ddd MMM DD HH:mm:ss ZZ YYYY\'); # 3. 修改内容，将上面这一行改为下面的内容 return new Date(Number(v)).toLocaleString(); # 4. 修改完成后，清理一下浏览器缓存就好了

集群基本测试

当我们进行了上面的所有步骤后，我们可以使用jps命令来查看当前服务器Hadoop的运行状态，坐标数字是PID进程号，后面的我们运行中的服务名称，我们可以看到hadoop102成功启动了NameNode服务，103服务器成功启动了ResourceManager服务…# 查看运行的服务 ssh hadoop102 jps ssh hadoop103 jps ssh hadoop104 jps # hadoop102服务器 7284 Jps 5484 DataNode 5326 NameNode 5790 NodeManager # hadoop103服务器 20387 NodeManager 21987 Jps 19878 DataNode 20072 ResourceManager # hadoop104服务器 19298 SecondaryNameNode 21300 Jps 19180 DataNode 19388 NodeManager

第一步：前面运行没有问题，我们还需要上传文件到集群来测试一下是否成功，首先创建一个测试文件

# 在hadoop102服务器的根目录下创建一个input文件夹 mkdir input # 在input文件夹下创建一个测试文件test.txt vim test.txt # 编写测试数据 我是测试数据 我爱学习大数据

第二步：在hadoop102服务器上运行命令

hadoop fs -put $HADOOP_HOME/input/test.txt /input

第三步：在web中查看我们的数据是否上传成功

我会在后面专门讲解HDFS，大家照着步骤来做就好了

集群的启动与停止

下面正式介绍一下集群的启动与停止命令，集群的启动和停止分为两部分：整体启动和各模块分开启动

整体启动:# 整体启动/停止HDFS start-dfs.sh/stop-dfs.sh # 整体启动/停止YARN start-yarn.sh/stop-yarn.sh

分开启动

如果我们对其中一台服务器进行服务的启动和停止就要使用下面的方式

# 分别启动/停止HDFS组件 hdfs --daemon start/stop namenode/datanode/secondarynamenode # 启动/停止YARN yarn --daemon start/stop resourcemanager/nodemanager

Hadoop中一些实用的小脚本 xsync分发脚本