hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建(含zookeeper集群安装)

  本人呕心沥血所写,经过好一段时间反复锤炼和整理修改。感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接  

附链接如下:

  

关于几个疑问和几处心得!

a.用NAT,还是桥接,还是only-host模式?

   答: hostonly、桥接和NAT

b.用static的ip,还是dhcp的?

答:static

c.别认为快照和克隆不重要,小技巧,比别人灵活用,会很节省时间和大大减少错误。

d.重用起来脚本语言的编程,如paython或shell编程。

 对于用scp -r命令或deploy.conf(配置文件),deploy.sh(实现文件复制的shell脚本文件),runRemoteCdm.sh(在远程节点上执行命令的shell脚本文件)。

e.重要Vmare Tools增强工具,或者,rz上传、sz下载。

f.大多数人常用

hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建(含zookeeper集群安装)

hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建(含zookeeper集群安装)

hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建(含zookeeper集群安装)

   Xmanager Enterprise *安装步骤

 用到的所需:

  1、VMware-workstation-full-11.1.2.61471.1437365244.exe

  2、CentOS-6.5-x86_64-bin-DVD1.iso

  3、jdk-7u69-linux-x64.tar.gz

  4、hadoop-2.6.0-cdh5.4.5.tar

  5、apache-cassandra-2.2.1-bin.tar.gz

  6、apache-flume-1.6.0-bin.tar.gz

  7、apache-tomcat-7.0.65.tar.gz

  8、flume-ng-1.5.0-cdh5.4.5.tar.gz

  9、hbase-1.0.0-cdh5.4.5.tar.gz

  10、hive-1.1.0-cdh5.4.5.tar.gz

  11、protobuf-2.5.0.tar.gz

  12、sqoop-1.4.5-cdh5.4.5.tar.gz

  13、zookeeper-3.4.5-cdh5.4.5.tar.gz

 机器规划:

  192.168.80.11   ----------------  CDHNode1

  192.168.80.12   ----------------  CDHNode2

  192.168.80.13   ----------------  CDHNode3

  

目录规划:

  1、安装目录:

      /home/hadoop/app/

  2、数据存放目录:

      dfs.namenode.name.dir ---file:/home/hadoop/data/name    //存放元数据

      dfs.datanode.data.dir ---file:/home/hadoop/data/datanode //datanode数据存放目录

      dfs.namenode.edits.dir---file:/home/hadoop/data/hdfs/edits       //存放编辑日志

      dfs.journalnode.edits.dir--/home/hadoop/data/journaldata/jn      //存放编辑日志同步数据

      dfs.hosts.exclude--/home/hadoop/app/hadoop-2.6.0-cdh5.4.5/etc/hadoop/excludes  //它是一个文件排除host

  3、进程pid:

      export HADOOP_PID_DIR=http://www.likecs.com/home/hadoop/data/pid               //存储hadoop 常驻进程pid

      export HADOOP_SECURE_DN_PID_DIR=http://www.likecs.com/home/hadoop/data/pid        //datanode进程 pid

  4、临时目录:

      /home/hadoop/data/tmp

  第一步:安装VMware-workstation虚拟机,我这里是VMware-workstation11版本。

       详细见 -> 

     VMware workstation 11 的下载                 VMWare Workstation 11的安装           VMware Workstation 11安装之后的一些配置

  第二步:安装CentOS系统,我这里是6.6版本。推荐(生产环境中常用)

    详细见 ->  

          CentOS 6.5的安装详解           CentOS 6.5安装之后的网络配置           CentOS 6.5静态IP的设置(NAT和桥接都适用)            CentOS 命令行界面与图形界面切换           网卡eth0、eth1...ethn谜团           Centos 6.5下的OPENJDK卸载和SUN的JDK安装、环境变量配置

第三步:VMware Tools增强工具安装

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzgydw.html