flink rocksdb状态后端物理内存溢出的问题

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink rocksdb状态后端物理内存溢出的问题

chanamper
请教一下,我采用flink 1.8版本,状态后端采用rocksdb方式,任务运行一段时间后containter会出现物理内存溢出,单个containter的内存为10G、堆内存使用很少仅1G左右。这种情况下我应该如何分析内存占用情况?
Reply | Threaded
Open this post in threaded view
|

Re: flink rocksdb状态后端物理内存溢出的问题

Yu Li
建议升级到1.10.0版本,该版本默认对RocksDB backend的内存使用会有限制,更多资料请参考官方文档 [1]。

Best Regards,
Yu

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/state/state_backends.html#memory-management


On Thu, 20 Feb 2020 at 17:42, chanamper <[hidden email]> wrote:

> 请教一下,我采用flink
> 1.8版本,状态后端采用rocksdb方式,任务运行一段时间后containter会出现物理内存溢出,单个containter的内存为10G、堆内存使用很少仅1G左右。这种情况下我应该如何分析内存占用情况?