flink监控

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

flink监控

penguin.
Hi,
flink集群中,能对TaskManager的每个TaskSlot进行监控吗?比如每个slot的cpu和内存使用率之类的指标。


penguin
Reply | Threaded
Open this post in threaded view
|

Re: flink监控

nobleyd
slot好像只是逻辑概念,监控意义不大,没有资源隔离。

penguin. <[hidden email]> 于2021年1月15日周五 下午5:06写道:

> Hi,
> flink集群中,能对TaskManager的每个TaskSlot进行监控吗?比如每个slot的cpu和内存使用率之类的指标。
>
>
> penguin
Reply | Threaded
Open this post in threaded view
|

Re:Re: flink监控

penguin.

那请问对于每个节点的CPU、内存使用率以及节点之间的通信量如何进行实时监控获取数据呢?

















在 2021-01-18 10:15:22,"赵一旦" <[hidden email]> 写道:
>slot好像只是逻辑概念,监控意义不大,没有资源隔离。
>
>penguin. <[hidden email]> 于2021年1月15日周五 下午5:06写道:
>
>> Hi,
>> flink集群中,能对TaskManager的每个TaskSlot进行监控吗?比如每个slot的cpu和内存使用率之类的指标。
>>
>>
>> penguin
Reply | Threaded
Open this post in threaded view
|

Re: Re: flink监控

nobleyd
每个节点,即进程,直接监控进程的cpu,内存就可以。没有更小的粒度。
通信的话看进程的io读写,网络读写等吧。此外flink的rest api可以获取flink web
ui能看到的全部信息,比如节点之间已发送records数量等。


penguin. <[hidden email]> 于2021年1月18日周一 上午10:55写道:

>
> 那请问对于每个节点的CPU、内存使用率以及节点之间的通信量如何进行实时监控获取数据呢?
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-18 10:15:22,"赵一旦" <[hidden email]> 写道:
> >slot好像只是逻辑概念,监控意义不大,没有资源隔离。
> >
> >penguin. <[hidden email]> 于2021年1月15日周五 下午5:06写道:
> >
> >> Hi,
> >> flink集群中,能对TaskManager的每个TaskSlot进行监控吗?比如每个slot的cpu和内存使用率之类的指标。
> >>
> >>
> >> penguin
>