关于并行下watermark不生成

[BenChen]

Hi all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢


| |
BenChen
|
|
[hidden email]
|
签名由网易邮箱大师定制

[Shubin Ruan]

可以考虑在数据源处进行处理:


设置个时间阈值，若检测到某个 key 下的数据超过时间阈值还未更新，则根据系统的 processing time 按照某种逻辑生成1条水印发送到下游。
在 2020-10-28 18:54:22，"BenChen" <[hidden email]> 写道：

>Hi all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢
>
>
>| |
>BenChen
>|
>|
>[hidden email]
>|
>签名由网易邮箱大师定制
>

[zhisheng]

hi，Benchen

可以考虑在 source 算子后面加一个 rebalance()

Best!
zhisheng

Shubin Ruan <[hidden email]> 于2020年10月28日周三 下午7:36写道：

> 可以考虑在数据源处进行处理:
>
>
> 设置个时间阈值，若检测到某个 key 下的数据超过时间阈值还未更新，则根据系统的 processing time 按照某种逻辑生成1条水印发送到下游。
> 在 2020-10-28 18:54:22，"BenChen" <[hidden email]> 写道：
> >Hi
> all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢
> >
> >
> >| |
> >BenChen
> >|
> >|
> >[hidden email]
> >|
> >签名由网易邮箱大师定制
> >
>

[hailongwang]

Hi BenChen,
1. 可以保证需要 watermark 算子之前的算子和前面的算子不是 Forward 。
2. 如果是自己实现的 Connector 的话，可能定时检测调用 SourceFunction#markAsTemporarilyIdle 来标记为 idle，我看目前 Kafka 是刚启动时候进行检测。
Best，
Hailong Wang
在 2020-10-28 17:54:22，"BenChen" <[hidden email]> 写道：

>Hi all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢
>
>
>| |
>BenChen
>|
>|
>[hidden email]
>|
>签名由网易邮箱大师定制
>