1 <property> 2 <name>fs.default.name</name> 3 <value>hdfs://localhost:9000</value> 4 </property> 5 6 <property> 7 <name>hadoop.tmp.dir</name> 8 <value>/app/hadoop/tmp</value> 9 </property>
修改hdfs-site.xml：
1 sudo gedit hdfs-site.xml
在<configuration></configuration>之间添加：
1 <property>
2 <name>dfs.namenode.name.dir</name>
3 <value>/app/hadoop/dfs/nn</value>
4 </property>
5
6 <property>
7 <name>dfs.namenode.data.dir</name>
8 <value>/app/hadoop/dfs/dn</value>
9 </property>
10
11 <property>
12 <name>dfs.replication</name>
13 <value>1</value>
14 </property>
修改yarn-site.xml：
1 sudo gedit yarn-site.xml
在<configuration></configuration>之间添加：
1 <property> 2 <name>mapreduce.framework.name</name> 3 <value>yarn</value> 4 </property> 5 6 <property> 7 <name>yarn.nodemanager.aux-services</name> 8 <value>mapreduce_shuffle</value> 9 </property>
复制并重命名mapred-site.xml.template为mapred-site.xml：
1 sudo cp mapred-site.xml.template mapred-site.xml 2 sudo gedit mapred-site.xml
在<configuration></configuration>之间添加：
1 <property> 2 <name>mapreduce.jobtracker.address </name> 3 <value>hdfs://localhost:9001</value> 4 </property>
在启动hadoop之前，为防止可能出现无法写入log的问题，记得为/app目录设置权限：
1 sudo mkdir /app 2 sudo chmod -R hduser:hduser /app
格式化hadoop：
1 hadoop namenode -format
启动hdfs和yarn。在开发Spark时，仅需要启动hdfs：
1 sbin/start-dfs.sh 2 sbin/start-yarn.sh
在浏览器中打开地址:50070/可以查看hdfs状态信息：
4. 安装scala
1 sudo cp /home/hduser/Download/scala-2.9.3.tgz /usr/local 2 sudo tar -xvzf scala-2.9.3.tgz
在/etc/profile文件的末尾添加环境变量：
1 export SCALA_HOME=/usr/local/scala-2.9.3 2 export PATH=$SCALA_HOME/bin:$PATH
保存并更新/etc/profile：
1 source /etc/profile
测试scala是否安装成功：
1 scala -version
5. 安装Spark
1 sudo cp spark-1.1.0-bin-hadoop2.4.tgz /usr/local 2 sudo tar -xvzf spark-1.1.0-bin-hadoop2.4.tgz
在/etc/profile文件的末尾添加环境变量：
1 export SPARK_HOME=/usr/local/spark-1.1.0-bin-hadoop2.4 2 export PATH=$SPARK_HOME/bin:$PATH
保存并更新/etc/profile：
1 source /etc/profile
复制并重命名spark-env.sh.template为spark-env.sh：
1 sudo cp spark-env.sh.template spark-env.sh 2 sudo gedit spark-env.sh
在spark-env.sh中添加：
1 export SCALA_HOME=/usr/local/scala-2.9.3 2 export JAVA_HOME=/usr/lib/jdk1.7.0_67 3 export SPARK_MASTER_IP=localhost 4 export SPARK_WORKER_MEMORY=1000m
启动Spark：
1 cd /usr/local/spark-1.1.0-bin-hadoop2.4 2 sbin/start-all.sh
测试Spark是否安装成功：
1 cd /usr/local/spark-1.1.0-bin-hadoop2.4 2 bin/run-example SparkPi
6. 搭建Spark开发环境
本文开发Spark的IDE推荐IntelliJ IDEA，当然也可以选择Eclipse。在使用IntelliJ IDEA之前，需要安装scala的插件。点击Configure：
点击Plugins：
点击Browse repositories...：
在搜索框内输入scala，选择Scala插件进行安装。由于已经安装了这个插件，下图没有显示安装选项：
安装完成后，IntelliJ IDEA会要求重启。