如何统计数据处理延迟Delay情况

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

如何统计数据处理延迟Delay情况

陈赋赟
HI ALL
  目前想对Flink Job添加一个统计数据处理延迟情况的Metric,目前的想法是拿到数据携带的时间(Event Time)于当前节点的时间(System.getCurrentTime)相减,得出的值即数据延迟处理的时间,但不确定这个想法是否正确且可行,求各位大佬提供思路和想法~
Reply | Threaded
Open this post in threaded view
|

Re: 如何统计数据处理延迟Delay情况

Jary Zhen
hi,
 首先,我的理解这个差值准确描述应该是”延迟摄入时间“,一般说处理时间应该是数据摄入系统到处理完的时间段,也就是(addSource到addSink,这个时间段)。
关于统计延迟数据,你可以看看Side out api [1]

[1]:
https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/side_output.html

On Thu, 5 Sep 2019 at 16:26, 陈赋赟 <[hidden email]> wrote:

> HI ALL
>   目前想对Flink Job添加一个统计数据处理延迟情况的Metric,目前的想法是拿到数据携带的时间(Event
> Time)于当前节点的时间(System.getCurrentTime)相减,得出的值即数据延迟处理的时间,但不确定这个想法是否正确且可行,求各位大佬提供思路和想法~