flink 1.11.1 web ui 页面查看source算子的detail数据,recoreds sent等度量状态永远为0

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

flink 1.11.1 web ui 页面查看source算子的detail数据,recoreds sent等度量状态永远为0

Asahi Lee
你好!
     我的flink程序正常执行,但是我在web ui监控页面查看source算子的detail信息,里面的Records Sent等度量信息,永远为0。请问是什么问题?
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.11.1 web ui 页面查看source算子的detail数据,recoreds sent等度量状态永远为0

admin
Hi,
你任务的DAG是什么样子的呢,可能的原因:
1.source本来就没有收到数据,或者没有发送到下游
2.source和下游算子chain在一起看不出来

> 2020年11月4日 下午8:03,Asahi Lee <[hidden email]> 写道:
>
> 你好!
> &nbsp; &nbsp; &nbsp;我的flink程序正常执行,但是我在web ui监控页面查看source算子的detail信息,里面的Records Sent等度量信息,永远为0。请问是什么问题?

Reply | Threaded
Open this post in threaded view
|

Re: flink 1.11.1 web ui 页面查看source算子的detail数据,recoreds sent等度量状态永远为0

Luna Wong
你上下游并行度设置的不一样试试。看看正确显示不。

admin <[hidden email]> 于2020年11月4日周三 下午8:10写道:

> Hi,
> 你任务的DAG是什么样子的呢,可能的原因:
> 1.source本来就没有收到数据,或者没有发送到下游
> 2.source和下游算子chain在一起看不出来
>
> > 2020年11月4日 下午8:03,Asahi Lee <[hidden email]> 写道:
> >
> > 你好!
> > &nbsp; &nbsp; &nbsp;我的flink程序正常执行,但是我在web
> ui监控页面查看source算子的detail信息,里面的Records Sent等度量信息,永远为0。请问是什么问题?
>
>
Reply | Threaded
Open this post in threaded view
|

Re:flink 1.11.1 web ui 页面查看source算子的detail数据,recoreds sent等度量状态永远为0

hailongwang
In reply to this post by Asahi Lee
Hi Asahi,
因为 对于 Records Sent 等指标 Flink 只统计内部的 Metrics,对于 Source input 和 Sink 的output 没有这些指标。
所以你的任务应该是 chain 成了一个operator,导致没有指标。如果真的需要看的话,可以点 UI 上 Metrics tab 进行选择查看。
或者可以将 operator 并发度设置成不一样导致没有 chain在一起;
PS:在生产上建议用 chain,它是在StrreamGraph 转 JobGraph上的优化,这样会减少数据网络的传递的开销以及序列化和反序列化等。


Best,
Hailong Wang

在 2020-11-04 19:03:02,"Asahi Lee" <[hidden email]> 写道:
>你好!
>&nbsp; &nbsp; &nbsp;我的flink程序正常执行,但是我在web ui监控页面查看source算子的detail信息,里面的Records Sent等度量信息,永远为0。请问是什么问题?