CentOS 7下CDH搭建Hadoop集群

一、说明  节点(CentOS7.5)   Server  || Agent   CPU  
node11   Server  || Agent   4G  
node12   Agent   2G  
node13   Agent   2G  
二、系统环境搭建 1、网络配置(所有节点)

1.设置主机名和IP

2.配置/etc/hosts  IP和主机名的映射 

2、SSH免密码登录

1.产生公钥和私钥:ssh-keygen -t rsa (一直回车直即可)

2.将公钥分发给所有节点(包括本机):  ssh-copy-id -i 主机名

3.测试ssh访问:    ssh root@主机名

3、关闭防火墙

1.关闭防火墙:systemctl stop firewalld

2.防止开机自启:systemctl disable firewalld

3.查看状态:firewall-cmd --state

4、关闭SELINUX

1.编辑  vi /etc/selinux/config

2.将SELINUX设置为:SELINUX=disabled

[root@node11~]# sestatus -v

SELinux status: disabled 表示已经关闭了

5、安装JDK

1.查看安装的Java信息:

rpm -qa | grep java

2.卸载自带open jdk

rpm -e --nodeps 包名

3.创建/usr/java目录,并上传包到此目录下,然后将rpm包解压到此目录下

rpm -ivh  jdk-8u191-linux-x64.rpm

4.配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_191

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5.使配置后的环境变量生效

source /etc/profile

6.查看是否安装成功

java -version

6、设置NTP

[root@node11~]#yum -y install ntp 更改master的节点

[root@node11~]## vi /etc/ntp.conf 注释掉所有server *.*.*的指向,新添加一条可连接的ntp服务器(我选的本公司的ntp测试服务器)

server 172.30.0.19 iburst 在其他节点上把ntp指向master服务器地址即可(/etc/ntp.conf下) server node11 iburst

[root@node11~]## systemctl start ntpd //启动ntp服务

[root@node11~]## systemctl status ntpd //查看ntp服务状态

7、安装配置MySQL

(主节点安装即可--这里将node11作为主节点)

1.卸载mariadb

rpm -qa|grep mariadb

rpm -e --nodeps mariadb的包名

CentOS 7下CDH搭建Hadoop集群

 

2.上传MySQL包到自建目录:/opt/software

CentOS 7下CDH搭建Hadoop集群

3.安装MySQL

# groupadd mysql # useradd -r -g mysql -s /sbin/nologin mysql #cd /usr/local/ # tar zxvf /root/mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz # ln -s mysql-5.7.21-linux-glibc2.12-x86_64/ mysql #cd mysql # mkdir mysql-files # chown -R mysql.mysql . # bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data # cp -rf /etc/my.cnf /etc/my.cnf.old # vim /etc/my.cnf [mysqld] basedir=/usr/local/mysql datadir=/usr/local/mysql/data skip-grant-tables

启动mysql

# bin/mysqld_safe --user=mysql & # cp support-files/mysql.server /etc/init.d/mysql # chmod a+x /etc/init.d/mysql # chkconfig --add mysql # chkconfig mysql on # service mysql start

设置root的密码

mysql> use mysql; mysql> update user set authentication_string=PASSWORD('123456') where User='root'; mysql> alter user root@'localhost' identified by '123456'; //修改密码

重新初始化

# killall mysqld # rm -rf /usr/local/mysql/data/ # chown -R mysql.mysql /usr/local/mysql # bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data # bin/mysql_ssl_rsa_setup # service mysqld restart

授权root用户使用密码从任意主机连接到mysql服务器

GRANT ALL PRIVILEGES ON *.* TO 'ROOT'@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;

flush privileges; 

三、Cloudera Manager Server&Agent安装  CM安装包下载地址:   https://archive.cloudera.com/cm5/cm/5/ CDH安装包下载地址:  

CentOS 7下CDH搭建Hadoop集群

1、安装Cloudera Manager Server&Agent

上传到/home/tools下 (三台机器都要安装)    tar xvzf cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz  -C /opt

2、配置CM Agent

1.cm的安装包的server和agent都是同一个包,启动的时候启动命令指定为server还是agent;

2.cm有一个工作目录,需要我们来创建;创建一个用户;修改agent的配置,给它指定server的位置;那个端口7182是server和agent通信的端口;

3.server_host配置为server的名字;

vi   /opt/cm-5.15.0/etc/cloudera-scm-agent/config.ini   中 server_host(三台机器)

CentOS 7下CDH搭建Hadoop集群

3、创建用户cloudera-scm(所有节点)

useradd --system --home=/opt/cm-5.15.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4、创建Parcel目录

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/328508cebc277170c4d974abf9143315.html