Spark应用(app jar)发布到Hadoop集群的过程

记录了Spark，Hadoop集群的开启，关闭，以及Spark应用提交到Hadoop集群的过程，通过web端监控运行状态。

1.绝对路径开启集群

（每次集群重启，默认配置的hadoop集群中tmp文件被清空所以需要重新format)
我的集群安装位置是/opt/hadoop下，可以根据自己路径修改。

/opt/hadoop/bin/hdfs namenode -format /opt/hadoop/sbin/start-all.sh /opt/spark/sbin/start-all.sh

使用jps命令查看集群是否全部正确开启

2.绝对路径关闭集群 /opt/hadoop/sbin/stop-all.sh /opt/spark/sbin/stop-all.sh 3.Spark业务(app)发布到Hadoop YARN集群方式

这里发布一个spark本身自带的jar发到hadoop集群中（此时hadoop和spark都已开启）

cd /opt/spark ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ --executor-memory 2g \ --executor-cores 1 \ lib/spark-examples-1.6.2-hadoop2.6.0.jar \ 10

注意spark-examples-1.6.2-hadoop2.6.0.jar，需要根据你的版本来看自带的版本号。

4.log地址(方便查看错误信息)

/opt/hadoop/logs/
/opt/spark/logs/

5.web地址查看（可以直观的查看集群执行情况）

:8088/cluster/apps
:8080/
通过:8088/cluster/apps看到执行成功SUCCEEDED

查看SparkPi运行结果，结果为Pi is roughly 3.140572。数值可能稍有不同。总之成功了！

下面关于Hadoop的文章您也可能喜欢，不妨看看：

CentOS7.2下Hadoop2.7.2集群搭建

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解