按理说到这里就差不多了,这个OOM的锅还真不能让同事背,的确是spark的一个bug。但是我很好奇,这么大一个问题,spark社区难道就没有动静吗?所以我就去社区搜了一下,发现了这个:
Memory leak of SparkPlanGraphWrapper in sparkUI
所以确认了,这个地方确实是spark2.3的一个隐藏bug,在2.3.1和2.4.0中被修复了,有兴趣的童鞋可以点进去看看。
spark 2.3 导致driver OOM的一个SparkPlanGraphWrapper源码的bug (2)
内容版权声明:除非注明,否则皆为本站原创文章。