flink sql开了TwoStageOptimizedAggregateRule优化,容易jvm heap outofmemory?

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

flink sql开了TwoStageOptimizedAggregateRule优化,容易jvm heap outofmemory?

jindy_liu
如上,同一个作业,数据也是相同的,配置差异就是有两阶段聚合,线上作业运行一断时间后
1、开两阶段聚合, 运行一段时间就会core,并且从checkpoint恢复时,必core,作业重启不了。每次都显示jvm heap不足。
2、关闭两阶段聚合,其它内存配置不变,作业运行没问题。

查看线上的core的时候的dump文件,发现一处疑似泄漏的地方。
请问下local agg操作是不是会用到java heap做聚合操作?聚合的数据量没控制好,容易引发内存问题?

<http://apache-flink.147419.n8.nabble.com/file/t670/%E5%86%85%E5%AD%98%E6%BA%A2%E5%87%BA.png>






--
Sent from: http://apache-flink.147419.n8.nabble.com/