Ubuntu 14.04 LTS 安装 Spark 1.6.0 （伪分布式）
需要下载的软件：
1.Hadoop-2.6.4.tar.gz 下载网址：
2.scala-2.11.7.tgz 下载网址：
3.spark-1.6.0-bin-hadoop2.6.tgz 下载网址：
4.jdk-8u73-linux-x64.tar.gz 下载网址：Oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Root用户的开启
为了简化Linux系统下的权限问题，我都是以root用户身份登陆和使用Ubuntu系统，而Ubuntu系统在默认情况下并没有开启root用户，我们需要开启root用户，我参考一下网址实现了root用户的开启:
1.打开terminal终端（ctrl+Alt+T）：
2.输入sudo gedit /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf 回车了之后，可能会提示输入密码，输入后会弹出如图示的编辑框。在编辑框中输入greeter-show-manual-login=true 保存关闭。
3.关闭之后，回到终端窗口，输入：sudo passwd root 回车；回车之后会要你输入两次密码，出现已成功更新密码字样即为成功。
4.然后关机重启之后，登陆的图形界面中，就可以输入root用户名和密码登陆了。
安装JAVA JDK
1.用root用户登陆后，cd到jdk下载存放的地方，利用tar -xf jdk-8u73-linux-x64.tar.gz进行解压，解压后利用剪切命令mv将jdk放到/usr/java目录下。
2.利用apt-get install vim命令安装vim文本编辑器，cd到/etc目录下，利用vim profile修改该文件加入JAVA的环境变量，打开profile文件后在最后添加如下文本：
1
2
3
export JAVA_HOME=/usr/java/jdk1.8.0_73
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
添加完成后，在terminal中输入source profile使得环境变量生效。
更多Spark相关教程见以下内容：
CentOS 7.0下安装并配置Spark
CentOS 6.2(64位)下安装Spark0.8.0详细记录
3.测试JAVA是否配置成功，在terminal中输入java -version如果出现如下信息即成功。
安装Hadoop
hadoop的安装主要参考官网上的伪分布式安装教程，参考网址：
1.安装ssh和rsync，通过以下两个命令：
1
2
$ sudo apt-get install ssh
$ sudo apt-get install rsync
2.cd到hadoop-2.6.4.tar.gz的下载目录，利用tar -xf 命令进行解压，将解压的文件夹利用mv命令剪切到目录/opt下，对于spark,scala都类似这样操作，不再累赘。
3.编辑文件/etc/profile，添加hadoop的环境变量，记得source profile
4.添加完hadoop环境变量后，cd到目录/opt/hadoop-2.6.4/etc/hadoop/，修改hadoop-env.sh文件，定义如下变量：
1
export JAVA_HOME=/usr/java/latest
5.伪分布式还需要修改etc/hadoop/core-site.xml文件为：
1 2 3 4 5 6
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
修改etc/hadoop/hdfs-site.xml文件为：
1 2 3 4 5 6
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
6.让ssh访问不受限制，需要如下设置，首先输入ssh localhost检查是否能不需要密码就能完成ssh localhost，如果不能需要如下生成秘钥：
1 2 3
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
7.以上步骤完成后，hadoop的伪分布式就算完成了，然后就可以测试一下是否安装成功，可以查看网址中的Execution部分。