task manager内存使用问题

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

task manager内存使用问题

Lucas
Hi,
现在使用的是flink1.12,使用standalone cluster模式运行。
在上面运行一个Job内存消耗大,会用满heap然后把整个task manager带崩掉。
想问下怎么给task manager的jvm加上heap dump相关参数。
还有是否有选项,可以在某个job吃满heap后是kill这个job而不是shutdown整个task manager,因为这个task manager还有其他job在跑,会导致其他job一起fail。



[hidden email]
Reply | Threaded
Open this post in threaded view
|

Re: task manager内存使用问题

Yangze Guo
1. 加jvm参数可以使用env.java.opts.taskmanager配置
2. 目前tm中没有对heap memory进行slot间细粒度管理,session模式下不支持这种功能

Best,
Yangze Guo

On Fri, Dec 18, 2020 at 9:22 AM [hidden email]
<[hidden email]> wrote:

>
> Hi,
> 现在使用的是flink1.12,使用standalone cluster模式运行。
> 在上面运行一个Job内存消耗大,会用满heap然后把整个task manager带崩掉。
> 想问下怎么给task manager的jvm加上heap dump相关参数。
> 还有是否有选项,可以在某个job吃满heap后是kill这个job而不是shutdown整个task manager,因为这个task manager还有其他job在跑,会导致其他job一起fail。
>
>
>
> [hidden email]