通过 IBM Power Systems 上运行的 SAP HANA Spark Controll(3)

hndadm    5724      1  0.0 538816 35648 /usr/sap/HND/HDB00/exe/sapstartsrv pf=/usr/sap/HND/SYS/profile/HND_HDB00_saphana2 -D -u hndadm

 

安装并配置 SAP HANA Studio

HANA Studio 是一个集成开发环境 (IDE),在与 SAP HANA 交互时,它提供了许多功能。可以使用它来访问并可视化 SAP HANA 中的数据资产。将该软件安装在您的客户端系统上,比如 Windows PC。

安装并配置 SAP HANA Spark Controller

执行以下步骤来安装并配置 SAP HANA Spark Controller:

从 下载 Spark Controller。

按照 Spark Controller 安装和配置指南进行操作。

在多节点 HDP 集群上,SAP HANA Spark Controller 只能安装在一个节点上。可以考虑将它安装在运行 Ambari、Name Node 和 YARN Resource Manager 的节点上。必须配置该节点来与 Hive Metastore 进行通信。

可以手动或使用 Ambari 安装并配置 Spark Controller。

启动 Spark Controller 并检查 Spark Controller 日志 (/var/log/hanaes/hana_controller.log),以理解并调试问题(如果有)。

检查 Spark Controller 是否在运行并在端口 7860(默认端口)上进行监听。

[root@hdpnode1 conf]# ps -aef |grep -i ^hanaes

hanaes    6064    1  0 Mar25 ?        02:37:24 /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-1.b15.el7_2.ppc64le//bin/java -cp /usr/hdp/current/spark-client/lib/spark-assembly-1.6.2.2.5.0.0-1245-hadoop2.7.3.2.5.0.0-1245.jar::/etc/hive/conf:/usr/hdp/current/spark-client/lib/datanucleus-api-jdo-3.2.6.jar:/usr/hdp/current/spark-client/lib/datanucleus-core-3.2.10.jar:/usr/hdp/current/spark-client/lib/datanucleus-rdbms-3.2.9.jar:mysql-connector-java.jar:mysql-connector-java.jar:/usr/hdp/2.5.0.0-1245/tez/*:/usr/hdp/2.5.0.0-1245/tez/lib/*:/usr/hdp/2.5.0.0-1245/tez/conf:/usr/sap/spark/controller/bin/../conf:/usr/hdp/2.5.0.0-1245/hadoop/conf:/etc/hive/conf:../*:../lib/*:/usr/hdp/2.5.0.0-1245/hadoop/*:/usr/hdp/2.5.0.0-1245/hadoop/lib/*:/usr/hdp/2.5.0.0-1245/hadoop-hdfs/*:/usr/hdp/2.5.0.0-1245/hadoop-hdfs/lib/* -XX:PermSize=128m -XX:MaxPermSize=256m -Xmx8172m com.sap.hana.spark.network.Launcher

[root@hdpnode1 conf]# netstat -anp | grep LISTEN |grep 7860

tcp6      0      0 :::7860                :::*LISTEN      6064/java

 

从 SAP HANA 数据库访问 HDP 上的数据用以执行分析

按照下面的步骤,从 SAP HANA 访问存储在 HDP 上的数据。

在 SAP HANA Studio 中添加 SAP HANA 2.0 服务器,,如图 3 所示。 图 3. 为 SAP HANA Studio 配置一个测试 SAP HANA 服务器

通过 IBM Power Systems 上运行的 SAP HANA Spark Controll

从 HANA Studio,创建一个新的远程连接来连接到在 HDP 上运行的 Hive Server2,并访问 Hive 表。

在 HANA Studio 窗口中,单击 Open SQL Console for HANA system。HANA SQL 控制台显示在右侧窗格上。

输入以下 SQL 查询,创建一个从 SAP HANA 到 HDP 的新连接。根据您的环境更改名称和 IP 地址。

CREATE REMOTE SOURCE "HDP Demo" ADAPTER "sparksql"   

CONFIGURATION 'port=7860;ssl_mode=disabled;server=xx.xx.xx.xx'       

WITH CREDENTIAL TYPE 'PASSWORD' USING 'user=hanaes;password=hanaes';

 

创建了一个名为 HDP Demo 的新远程连接。

单击该远程连接,探索 Hive 数据库和其中的表。

图 4. 创建一个新的 HDP 远程连接来探索 Hive 数据库和表

通过 IBM Power Systems 上运行的 SAP HANA Spark Controll

在 HANA DB 下为 Hive 表创建一种新模式并创建虚拟表。在 SQL Console 下运行以下 SQL 查询。这将创建一种新模式(名为 hdp)。

create SCHEMA hdp OWNED BY SYSTEM;

 

图 5. 创建一种新模式

通过 IBM Power Systems 上运行的 SAP HANA Spark Controll

为您想访问并分析其数据的 Hive 表创建 HANA 虚拟表(在新创建的模式下)(如图 6、图 7 和图 8 所示)。 图 6. 在 SAP HANA 上创建一个虚拟表

通过 IBM Power Systems 上运行的 SAP HANA Spark Controll

图 7. 在 SAP HANA 上创建一个虚拟表

通过 IBM Power Systems 上运行的 SAP HANA Spark Controll

图 8. 在 SAP HANA 上创建一个虚拟表

通过 IBM Power Systems 上运行的 SAP HANA Spark Controll

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/a2d3cc057db122eca74070721f72319d.html