Spark3.0分布,Structured Streaming UI登场

Spark3.0分布,Structured Streaming UI登场

近日,在Spark开源十周年之际,Spark3.0发布了,这个版本大家也是期盼已久。登录Spark官网,最新的版本已经是3.0。而且不出意外,对于Structured Streaming进行了再一次的加强,这样Spark和Flink在实时计算领域的竞争,恐怕会愈演愈烈。

Spark3.0分布,Structured Streaming UI登场

Spark 3.0 主要的新特性如下:

相比于Spark2.4,性能提升了2倍,主要体现在自适应查询执行,动态分区修剪等方面。

Pandas API改动,包括Python类型的提示和UDF函数。

对于PySpark的异常处理进行了增强。

新的Structured Streaming UI页面。

而且解决了大量Jira问题。

Structured Streaming最初于Spark 2.0引入,并且停止了SparkStreaming的更新,很明显Structured Streaming的出现是为了在实时计算领域可以与对水印,窗口等支持更好的Flink一战。

3.0版本添加Structured Streaming的专用UI,可以方便的查看流作业的执行信息。

Spark3.0分布,Structured Streaming UI登场

Spark3.0分布,Structured Streaming UI登场

虽然与Flink比起来,Structured Streaming还有很长的路要走,但是可以期待Spark 3.0版本对于Structured Streaming的持续加强。

更多实时数据分析相关博文与科技资讯,欢迎关注 “实时流式计算”

Spark3.0分布,Structured Streaming UI登场

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzxfyy.html