Hadoop 2.6.0 集群系统版本安装和启动配置(2)

  10.修改配置文件hadoop-2.6.0/etc/hadoop/slaves,输入下面内容,每一行是一个从节点主机名称hadoop用户操作)

  slave1

  slave2

  12.修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.shhadoop用户操作)

  export JAVA_HOME=/home/hadoop/jdk1.8.0_65

  13.修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop/tmp</value>

<description>Abasefor other temporary directories.</description>

</property>

 

  13.修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加hadoop用户操作)

  

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/hadoop/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/hadoop/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

 

  14.修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml hadoop用户操作),这个文件没有,需要复制一份

  cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

  添加

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

 

15.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8035</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

 

16.将配置好的hadoop文件copy到另外slave机器上(hadoop用户操作)

    scp -r hadoop-2.6.0/ hadoop@slave1:~/hadoop

    scp -r hadoop-2.6.0/ hadoop@slave2:~/hadoop

  17.格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)

  bin/hdfs namenode -format

  注意:格式化只能操作一次,如果因为某种原因,集群不能用, 需要再次格式化,需要把上一次格式化的信息删除,在三个节点用户根目录里执行 rm -rf /home/hadoop/hadoop/dfs

  18.启动集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作)

  sbin/start-all.sh

19.查看hadoopweb接口,在浏览器输入:主机名:50070。如::50070

Hadoop 2.6.0 集群系统版本安装和启动配置

  启动以后jps查看,master有4个线程,slave1和slave2都有3个线程,其中都有一个是jps。

Hadoop2.3-HA高可用集群环境搭建 

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署 

Hadoop2.7.2集群搭建详解(高可用) 

使用Ambari来部署Hadoop集群(搭建内网HDP源) 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/0056bd54eda9cd5d7e8a17d2ac4a6150.html