大数据学习系列之六 ----- Hadoop+Spark环境搭建

在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 ： 中使用Hive整合HBase，并且测试成功了。在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机) : 中成功的搭建了Hadoop的环境，本文主要讲的是Hadoop+Spark 的环境。虽然搭建的是单机版，但是改成集群版的也相当容易，这点以后会写关于Hadoop+Spark+HBase+Hive+Zookeeper 等集群的相关说明的。

一、环境选择 1,服务器选择

本地虚拟机
操作系统:linux CentOS 7
Cpu：2核
内存：2G
硬盘:40G

2,配置选择

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Scala：2.12.2 (scala-2.12.2.tgz)
Spark: 1.6 (spark-1.6.3-bin-hadoop2.4-without-hive.tgz)

3,下载地址

官网地址:
JDK：

Hadopp:

Spark：

Hive on Spark (spark集成hive的版本)

Scala:

百度云:
链接：https://pan.baidu.com/s/1geT3A8N 密码：f7jb

二、服务器的相关配置

在配置Hadoop+Spark整合之前，应该先做一下配置。
做这些配置为了方便，使用root权限。

1,更改主机名

首先更改主机名，目的是为了方便管理。
查看本机的名称
输入:

hostname

更改本机名称
输入:

hostnamectl set-hostname master

注:主机名称更改之后，要重启(reboot)才会生效。

2,主机和IP做关系映射

修改hosts文件，做关系映射
输入

vim /etc/hosts

添加
主机的ip 和 主机名称

192.168.219.128 master 3,关闭防火墙

关闭防火墙，方便外部访问。
CentOS 7版本以下输入:
关闭防火墙

service iptables stop

CentOS 7 以上的版本输入：

systemctl stop firewalld.service 4,时间设置

输入:

date

查看服务器时间是否一致，若不一致则更改
更改时间命令

date -s ‘MMDDhhmmYYYY.ss’ 三、Scala环境配置

因为Spark的配置依赖与Scala，所以先要配置Scala。
Scala的配置

1, 文件准备

将下载好的Scala文件解压
输入

tar -xvf scala-2.12.2.tgz

然后移动到/opt/scala 里面
并且重命名为scala2.1
输入

mv scala-2.12.2 /opt/scala mv scala-2.12.2 scala2.1 2，环境配置

编辑 /etc/profile 文件
输入:

export SCALA_HOME=http://www.likecs.com/opt/scala/scala2.1 export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH

输入:

source /etc/profile

使配置生效
输入 scala -version 查看是否安装成功

三、Spark的环境配置 1，文件准备

Spark有两种，下载的地址都给了，一种是纯净版的spark，一种是集成了hadoop以及hive的版本。本文使用的是第二种
将下载好的Spark文件解压
输入

tar -xvf spark-1.6.3-bin-hadoop2.4-without-hive.tgz

然后移动到/opt/spark 里面，并重命名
输入

mv spark-1.6.3-bin-hadoop2.4-without-hive /opt/spark mv spark-1.6.3-bin-hadoop2.4-without-hive spark1.6-hadoop2.4-hive

2，环境配置

编辑 /etc/profile 文件
输入:

export SPARK_HOME=http://www.likecs.com/opt/spark/spark1.6-hadoop2.4-hive export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

输入:

source /etc/profile

使配置生效

3，更改配置文件

切换目录
输入:

cd /opt/spark/spark1.6-hadoop2.4-hive/conf 4.3.1 修改 spark-env.sh

在conf目录下，修改spark-env.sh文件，如果没有 spark-env.sh 该文件，就复制spark-env.sh.template文件并重命名为spark-env.sh。
修改这个新建的spark-env.sh文件，加入配置:

export SCALA_HOME=http://www.likecs.com/opt/scala/scala2.1 export JAVA_HOME=http://www.likecs.com/opt/java/jdk1.8 export HADOOP_HOME=http://www.likecs.com/opt/hadoop/hadoop2.8 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_HOME=http://www.likecs.com/opt/spark/spark1.6-hadoop2.4-hive export SPARK_MASTER_IP=master export SPARK_EXECUTOR_MEMORY=1G

注:上面的路径以自己的为准，SPARK_MASTER_IP为主机，SPARK_EXECUTOR_MEMORY为设置的运行内存。

五、Hadoop环境配置