大数据平台搭建（hadoop+spark）
一.基本信息
1. 服务器基本信息
主机名
ip地址
安装服务
spark-master
172.16.200.81
jdk、hadoop、spark、scala
spark-slave01
172.16.200.82
jdk、hadoop、spark
spark-slave02
172.16.200.83
jdk、hadoop、spark
spark-slave03
172.16.200.84
jdk、hadoop、spark
2. 软件基本信息
软件名
版本
安装路径
oracle jdk
1.8.0_111
/usr/local/jdk1.8.0_111
hadoop
2.7.1
/usr/local/hadoop-2.7.3
spark
2.0.2
/usr/local/spark-2.0.2
scala
2.12.1
usr/local/2.12.1
3.环境变量汇总
############# java ############
export JAVA_HOME=http://www.likecs.com/usr/local/jdk1.8.0_111
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
########### hadoop ##########
export HADOOP_HOME=http://www.likecs.com/usr/local/hadoop-2.7.3
export PATH=$JAVA_HOme/bin:$HADOOP_HOME/bin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
######### spark ############
export SPARK_HOME=http://www.likecs.com/usr/local/spark-2.0.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
######### scala ##########
export SCALA_HOME=http://www.likecs.com/usr/local/scala-2.12.1
export PATH=$PATH:$SCALA_HOME/bin
4. 基本环境配置（master、slave相同操作）
4.1 配置jdk
cd /usr/loca/src/
tar -C /usr/local/ -xzf /usr/local/src/jdk-8u111-linux-x64.tar.gz
4.2 配置java环境变量
vim /etc/profile
添加如下信息
######### jdk ############ export JAVA_HOME=http://www.likecs.com/usr/local/jdk1.8.0_111 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 4.3 刷新配置文件： source /etc/profile 4.4 配置hosts vim /etc/hosts 172.16.200.81 spark-master 172.16.200.82 spark-slave1 172.16.200.83 spark-slave2 4.5 配置免密码生成密钥对
ssh-keygen如果密钥不设置密码，则连按几下回车
先配置本机免密码登录
cd /root/.ssh cat id_rsa.pub > authorized_keys chmod 600 authorized_keys再将其它主机id_rsa.pub 内容追加到 authorized_keys中，三台配置完成后即可实现免密码登录
二.大数据平台搭建 1. 搭建Hadoop（master、slave相同操作） 1.1 安装hadoop cd /usr/loca/src/ tar -C /usr/local/ -xzf hadoop-2.7.3.tar.gz 1.2 配置hadoop环境变量 vim /etc/profile添加如下信息
######### hadoop ############ export HADOOP_HOME=http://www.likecs.com/usr/local/hadoop-2.7.3 export PATH=$JAVA_HOme/bin:$HADOOP_HOME/bin:$PATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 1.3 刷新配置文件： source /etc/profile 1.4 修改hadoop配置文件 cd /usr/local/hadoop-2.7.3/etc/hadoop查看
root@spark-master hadoop]# ll 总用量 152 -rw-r--r--. 1 root root 4436 8月 18 09:49 capacity-scheduler.xml -rw-r--r--. 1 root root 1335 8月 18 09:49 configuration.xsl -rw-r--r--. 1 root root 318 8月 18 09:49 container-executor.cfg -rw-r--r--. 1 root root 1037 12月 21 14:58 core-site.xml -rw-r--r--. 1 root root 3589 8月 18 09:49 hadoop-env.cmd -rw-r--r--. 1 root root 4235 12月 21 11:17 hadoop-env.sh -rw-r--r--. 1 root root 2598 8月 18 09:49 hadoop-metrics2.properties -rw-r--r--. 1 root root 2490 8月 18 09:49 hadoop-metrics.properties -rw-r--r--. 1 root root 9683 8月 18 09:49 hadoop-policy.xml -rw-r--r--. 1 root root 1826 12月 21 14:11 hdfs-site.xml -rw-r--r--. 1 root root 1449 8月 18 09:49 httpfs-env.sh -rw-r--r--. 1 root root 1657 8月 18 09:49 httpfs-log4j.properties -rw-r--r--. 1 root root 21 8月 18 09:49 httpfs-signature.secret -rw-r--r--. 1 root root 620 8月 18 09:49 httpfs-site.xml -rw-r--r--. 1 root root 3518 8月 18 09:49 kms-acls.xml -rw-r--r--. 1 root root 1527 8月 18 09:49 kms-env.sh -rw-r--r--. 1 root root 1631 8月 18 09:49 kms-log4j.properties -rw-r--r--. 1 root root 5511 8月 18 09:49 kms-site.xml -rw-r--r--. 1 root root 11237 8月 18 09:49 log4j.properties -rw-r--r--. 1 root root 931 8月 18 09:49 mapred-env.cmd -rw-r--r--. 1 root root 1383 8月 18 09:49 mapred-env.sh -rw-r--r--. 1 root root 4113 8月 18 09:49 mapred-queues.xml.template -rw-r--r--. 1 root root 1612 12月 21 12:03 mapred-site.xml -rw-r--r--. 1 root root 56 12月 21 16:30 slaves -rw-r--r--. 1 root root 2316 8月 18 09:49 ssl-client.xml.example -rw-r--r--. 1 root root 2268 8月 18 09:49 ssl-server.xml.example -rw-r--r--. 1 root root 2191 8月 18 09:49 yarn-env.cmd -rw-r--r--. 1 root root 4564 12月 21 11:19 yarn-env.sh -rw-r--r--. 1 root root 1195 12月 21 14:24 yarn-site.xml 1.4.1 修改hadoop全局配置文件 vim core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="http://www.likecs.com/configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <!--配置namenode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://172.16.200.81:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>file:///data/hadoop/data/tmp</value> </property> </configuration> 1.4.2 配置hadoop关联jdk