Apache Kylin v3.1.0 已于上周正式发布，其中包含了许多值得一试的新功能，本文选择了 Presto 查询下压引擎、Flink 构建引擎、Kylin on Kubernetes 解决方案、新版 Hive 全局字典、增强的 Cube 迁移服务这五项重点功能进行介绍。
Presto 查询下压引擎
之前版本的 Kylin 提供了查询下压功能，该功能对于 Hive 数据源的下压有比较好的支持，但是对 Hive 以外的具有不兼容语法的数据源，用户就容易遇到因为种种方言不兼容而导致查询下压失败的问题。
为了解决这个问题，Kyligence 贡献了基于 Data Source SDK 开发的 Presto 查询下压引擎，该功能通过 Calicte 完成了Kylin 和 Presto 方言翻译，大大提升了查询下压的成功率。
Presto 下压引擎的使用文档请参考 :
崭新的 Flink 构建引擎
Flink Engine 由腾讯贡献到 Kylin 社区（KYLIN – 3758）。在过去版本中，Kylin 只支持 MapReduce 和 Spark 两种构建引擎，为了扩大 Kylin 生态，进一步提升构建速度，Kylin v3.1.0引入了 Flink 作为构建引擎，用户可以很容易的使用 Flink 构建，只需要配置 FLINK_HOME，然后在创建 Cube 时选择 Build Engine 为 Flink，就可以体验这一功能。Flink 基于 Google 的 DataFlow 模型以及 Streaming First 的设计理念要比 Spark 在流处理领域拥有先天的优势。
Flink Cube 引擎基于 Kylin 原先的插件化的架构，是一个相对独立的模块，继承 IBatchCubingEngine 接口实现了 FlinkBatchCubingEngine2，跟 Kylin 其他部件没有产生太多的耦合。它整体上延续了 Spark Engine 的设计与实现，但由于 Spark 跟 Flink 的 DataSet API 存在着一定程度的差异，所以开发过程中需要进行一些适配工作。
Flink Engine 开发完成后，我们对它进行了测试。测试环境为 CDH5 集群，包括 4 个物理节点，每个物理节点 32 Core，125G 内存，数据源是基于 SSB 数据集，事实表包含 6 千万记录，通过分析 “Build Cube With Spark”/”Build Cube With Flink” 步骤的日志发现，使用 Spark 构建使用了 15.36 分钟，使用 Flink 构建使用了 12.64 分钟，Flink Engine 构建用时减少了 17.7%。
Flink Engine 的使用文档可以参考：
初步的 Kylin on Kubernetes 解决方案 [1]
Kylin on Kubernetes 方案由 eBay 实现并贡献到 Kylin 社区（KYLIN-4445）。Kylin 在 eBay 已经运行了 超过 5 年，起初直接运行在物理服务器上。由于 Data Center 的迁移和 Tech Refresh 的需求，eBay 于 2019 年初开始了把 Kylin 迁移到云上的计划，并于上半年把 Kylin 整体迁移到了 eBay 的 Kubernetes 平台 Tess 上，开启了 Kylin on Kubernetes 的时代。
Kylin on Kubernetes 使用 Kubernetes 推荐的 Docker 作为镜像，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux 或 Windows 机器上，也可以实现虚拟化。Kylin 的 Docker 镜像分为两个 Dockerfile: Hadoop-client 和 Kylin，Kylin 的 Dockerfile 是基于 Hadoop-client 的。
相对于原来的部署方案，使用 Kylin on Kubernetes 部署能够带来以下收益：
提高系统可用性，并实现部署的运维过程的自动化；
扩容（scale up/scale out）更加方便；
可维护性得到显著提高；
借助 Kubernetes 带来的高度可移植性，使得在不同环境之间的迁移，变得逻辑简单而且结果可靠；
系统资源的管理和监控有了简便而且统一的方式，可以进一步提升资源使用率。
Kylin on Kubernetes 部署文档可以参考：
性能提升显著的新版Hive全局字典 [2]
Hive Global Dictionary 的第二版（KYLIN-4342）由滴滴贡献到 Kylin 社区，并在 Kylin v3.1.0 正式发布。在此之前，滴滴已经向 Kylin 社区贡献过 Hive Global Dictionary 第一版。
实际上，Kylin 从 1.5.3 版本开始就支持全局字典功能，对于基数不大（一亿以内）的情况能够起到很好的支持，当时的版本有两个比较明显的缺陷，一是全局字典是在 Job Server 上通过单线程的方式构建，随着数据的增多构建时长变得不可控；另外，随着数据的累积，字典构建对 Job Server 的内存需求也不断增多，其性能基本不能满足我们当时更高基数全局字典构建的需求。
基于这样的背景，滴滴内部对 Hive Global Dictionary 进行了 3 版迭代，最终的这一版就是 Kylin 社区称之为 Hive Global Dictionary V2 的实现，已经能够满足以下要求：
分布式构建全局字典
突破基数限制
提升构建速度
降低单节点所需内存
在滴滴的内部测试中，使用 Hive Global Dictionary V2，字典编码（MR Job部分）基本可以恒定在 15 分钟内完成，并且可以在不同的 Cube 之间实现字典复用。
Hive Global Dictionary V2的使用文档可以参考：
增强的 Cube 迁移服务 [3]