Ubuntu 16.04安装Hadoop2.6+Spark1.6+开发实例(2)

vim etc/hadoop/mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

vim etc/hadoop/yarn-site.xml

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 2.5.2开启YARN sbin/start-yarn.sh

查看是否全部正常启动命令jps，如图

也可以在web端查看，地址:8088/cluster

2.6.运行例子： bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+' bin/hdfs dfs -get output output bin/hdfs dfs -cat output/*

2.7.关闭YARN/dfs sbin/stop-dfs.sh sbin/stop-yarn.sh 3.安装spark 3.1.解压，移动到/opt路径下 cd /home/wxl/Downloads tar -zxf spark-1.6.2-bin-hadoop2.6.tgz sudo mv spark-1.6.2-bin-hadoop2.6 /opt/spark

在/opt/spark/conf的文件，将spark-env.sh.template复制为spark-env.sh
增加

export JAVA_HOME=/opt/java

即可。
可以看到spark配置比较简单，只需要解压，放置指定路径皆可。

3.2.通过小例子的shell测试 3.2.1.开启pyspark ./bin/pyspark

3.2.2.pyspark在shell中开发 lines =sc.textFile("README.md") lines.count() lines.first() exit() #或者ctrl+c

可以看到每次shell打印一堆info信息，为了较少信息输出，建立log机制
cp conf/log4j.properties.template conf/log4j.properties
将log4j.properties文件中的log4j.rootCategory=INFO, console
修改为 log4j.rootCategory=WARN, console

3.3.pyspark在jupyter notebook 中开发

启动

IPYTHON_OPTS="notebook" /opt/spark/bin/pyspark

输入测试例子，shift+enter是运行本单元格并且建立新行，依次输入

lines =sc.textFile("README.md") lines.count() lines.first()

至此，整个环境搭建和开发过程总结完毕，愉快的开发吧！
注意：Spark支持的python版本是python2.7.x，也支持python3.4+。但是在开发程序时候，朋友请保证注意pyhton版本，如果程序和使用内核不同的话，jupyter notebook内核则会报错。

下面关于Hadoop的文章您也可能喜欢，不妨看看：

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程