在Ubuntu 17.10上安装Apache Spark(2)

现在，一切正确配置，我们可以测试，以确保一切正常。 你将需要你的mesos masters的zookeeper地址格式如下：

mesos://zk://mesos1:2181,mesos2:2181,mesos3:2181/mesos

我实际上使用IP地址进行安装，当我们启动python客户端时，这将是必需的。导出环境变量MESOS_NATIVE_JAVA_LIBRARY设置为您的libmesos.so位置，如果您按照上面的说明执行操作：

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so

使用以下命令运行客户端：

# ./bin/pyspark --master mesos://zk://mesos1:2181,mesos2:2181,mesos3:2181/mesos

这将加载python Spark客户端，并在Mesos上启动一些任务。 您可以通过转到您的mesos集群GUI（{mesos-ip}:5050）并查看Active Tasks来验证。 你应该看到两个PySparkShell的任务名称。 您还应该看到您的CLI正在运行：

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 2.2.0 /_/ Using Python version 2.7.14 (default, Sep 23 2017 22:06:14) SparkSession available as 'spark'. >>>

您还可以在以下位置查看Spark应用程序UI：

{spark-ip}:4040

我希望你喜欢这个帖子。 如果有帮助或者如果有问题，请发表评论并告诉我。

更多Spark相关教程见以下内容：

CentOS 7.0下安装并配置Spark 

Ubuntu系统搭建单机Spark注意事项 

Spark1.0.0部署指南

Spark2.0安装配置文档 

Spark 1.5、Hadoop 2.7 集群环境搭建 

Spark官方文档 - 中文翻译 

CentOS 6.2(64位)下安装Spark0.8.0详细记录

Spark-2.2.0安装和部署详解 

Spark2.0.2 Hadoop2.6.4全分布式配置详解

Ubuntu 14.04 LTS 安装 Spark 1.6.0 （伪分布式）

Spark 的详细介绍：请点这里
Spark 的下载地址：请点这里