flink job 跑一段时间 watermark 不推进的问题

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

flink job 跑一段时间 watermark 不推进的问题

snack white
HI:
      flink job 跑一段时间 watermark 不推进,任务没挂,source 是 kafka ,kafka 各个partition 均有数据, flink job statue backend 为 memory 。有debug 的姿势推荐吗?  看过 CPU GC 等指标,看不出来有异常。

Best regards!
white

Reply | Threaded
Open this post in threaded view
|

回复:flink job 跑一段时间 watermark 不推进的问题

Cayden chen
可以在本地idea起local模式打断点调试




------------------ 原始邮件 ------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年7月20日(星期一) 下午3:14
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;flink job 跑一段时间 watermark 不推进的问题



HI:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; flink job 跑一段时间 watermark 不推进,任务没挂,source 是 kafka ,kafka 各个partition 均有数据, flink job statue backend 为 memory 。有debug 的姿势推荐吗?&nbsp; 看过 CPU GC 等指标,看不出来有异常。

Best regards!
white
Reply | Threaded
Open this post in threaded view
|

Re: flink job 跑一段时间 watermark 不推进的问题

shizk233
In reply to this post by snack white
Hi,

Flink
metrics里有一项是task相关的指标currentWatermark,从中可以知道subtask_index,task_name,watermark三项信息,应该能帮助排查watermark的推进情况。

Best,
shizk233

snack white <[hidden email]> 于2020年7月20日周一 下午3:51写道:

> HI:
>       flink job 跑一段时间 watermark 不推进,任务没挂,source 是 kafka ,kafka 各个partition
> 均有数据, flink job statue backend 为 memory 。有debug 的姿势推荐吗?  看过 CPU GC
> 等指标,看不出来有异常。
>
> Best regards!
> white
>
>