有什么方式可以获得各个task占用内存情况呢

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

有什么方式可以获得各个task占用内存情况呢

Jeff
hi all,


我用per-job方式提交了一批任务,请问有什么方式知道每个任务内存消耗情况呢?
Reply | Threaded
Open this post in threaded view
|

Re: 有什么方式可以获得各个task占用内存情况呢

Xintong Song
Hi Jeff,

Flink 目前没有 task 级别的内存统计。原因是运行在同一个 JVM
进程中的不同线程的内存开销,是很难区分开的。如果真要逐个线程进行内存分析,代价会比较高,不适合在运行时进行统计。如果需要对 task
的内存开销进行深入分析的话,可能需要借助一些 profiling 工具对某一时刻的 heap dump 进行分析。

Thank you~

Xintong Song



On Fri, May 15, 2020 at 2:52 PM Jeff <[hidden email]> wrote:

> hi all,
>
>
> 我用per-job方式提交了一批任务,请问有什么方式知道每个任务内存消耗情况呢?
Reply | Threaded
Open this post in threaded view
|

Re:Re: 有什么方式可以获得各个task占用内存情况呢

Jeff



好的,谢谢














在 2020-05-15 14:48:15,"Xintong Song" <[hidden email]> 写道:

>Hi Jeff,
>
>Flink 目前没有 task 级别的内存统计。原因是运行在同一个 JVM
>进程中的不同线程的内存开销,是很难区分开的。如果真要逐个线程进行内存分析,代价会比较高,不适合在运行时进行统计。如果需要对 task
>的内存开销进行深入分析的话,可能需要借助一些 profiling 工具对某一时刻的 heap dump 进行分析。
>
>Thank you~
>
>Xintong Song
>
>
>
>On Fri, May 15, 2020 at 2:52 PM Jeff <[hidden email]> wrote:
>
>> hi all,
>>
>>
>> 我用per-job方式提交了一批任务,请问有什么方式知道每个任务内存消耗情况呢?