Apache Spark1.1.0部署与开发环境搭建

Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同,Spark并不局限于编写map和reduce两个方法,其提供了更为强大的内存计算(in-memory computing)模型,使得用户可以通过编程将数据读取到集群的内存当中,并且可以方便用户快速地重复查询,非常适合用于实现机器学习算法。本文将介绍Apache Spark1.1.0部署与开发环境搭建。

更多Spark相关教程见以下内容

CentOS 7.0下安装并配置Spark 

Spark1.0.0部署指南

CentOS 6.2(64位)下安装Spark0.8.0详细记录

Spark简介及其在Ubuntu下的安装使用

安装Spark集群(在CentOS上)

Hadoop vs Spark性能对比

Spark安装与学习

Spark 并行计算模型

0. 准备

  出于学习目的,本文将Spark部署在虚拟机中,虚拟机选择VMware WorkStation。在虚拟机中,需要安装以下软件:

  Spark的开发环境,本文选择Windows7平台,IDE选择IntelliJ IDEA。在Windows中,需要安装以下软件:

1. 安装JDK

  解压jdk安装包到/usr/lib目录:

1 sudo cp jdk-7u67-linux-x64.gz /usr/lib 2 cd /usr/lib 3 sudo tar -xvzf jdk-7u67-linux-x64.gz 4 sudo gedit /etc/profile

  在/etc/profile文件的末尾添加环境变量:

1 export JAVA_HOME=/usr/lib/jdk1.7.0_67 2 export JRE_HOME=/usr/lib/jdk1.7.0_67/jre 3 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 4 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

  保存并更新/etc/profile:

1 source /etc/profile

  测试jdk是否安装成功:

1 java -version

2. 安装及配置SSH

1 sudo apt-get update 2 sudo apt-get install openssh-server 3 sudo /etc/init.d/ssh start

  生成并添加密钥:

1 ssh-keygen -t rsa -P "" 2 cd /home/hduser/.ssh 3 cat id_rsa.pub >> authorized_keys

  ssh登录:

1 ssh localhost

Apache Spark1.1.0部署与开发环境搭建

3. 安装hadoop2.4.0

  采用伪分布模式安装hadoop2.4.0。解压hadoop2.4.0到/usr/local目录:

1 sudo cp hadoop-2.4.0.tar.gz /usr/local/ 2 sudo tar -xzvf hadoop-2.4.0.tar.gz

  在/etc/profile文件的末尾添加环境变量:

1 export HADOOP_HOME=/usr/local/hadoop-2.4.0 2 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 3 4 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 5 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

  保存并更新/etc/profile:

1 source /etc/profile

  在位于/usr/local/hadoop-2.4.0/etc/hadoop的hadoop-env.sh和yarn-env.sh文件中修改jdk路径:

1 cd /usr/local/hadoop-2.4.0/etc/hadoop 2 sudo gedit hadoop-env.sh 3 sudo gedit yarn-evn.sh

hadoop-env.sh:

yarn-env.sh:

  修改core-site.xml:

1 sudo gedit core-site.xml

  在<configuration></configuration>之间添加:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/08ab27385eb84ac9c9ca4f18b91588f2.html