为什么 Flink不支持 Keyed Watermarks

[Utopia]

Hi all,

Flink 有支持 Keyed Watermarks 的计划吗？

感觉这是一个很大的缺陷，尤其是在 IoT 数据处理中，每个设备数据上传的速度可能是不一样的。这样的设计导致速度上传快的设备需要等待速度上传慢的设备来推动 watermark。

不用的 key 代表不同的设备，在业务逻辑上是不同的，event time 和数据上传速度也不同，却要共享同一个 Operator 的 watermark，这是没有道理的。

在网上搜索的时候，找到一篇资料也提到了这个问题。https://bigdata.cs.ut.ee/keyed-watermarks-partition-aware-watermark-generation-apache-flink



Best  regards
Utopia

[蒋佳成(Jiacheng Jiang)]

同问！有人回答吗？




------------------ 原始邮件 ------------------
发件人:&nbsp;"Utopia"<[hidden email]&gt;;
发送时间:&nbsp;2020年2月9日(星期天) 凌晨2:38
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Flink为什么 不支持 Keyed Watermarks



Hi all,

Flink 有支持 Keyed Watermarks 的计划吗？

感觉这是一个很大的缺陷，尤其是在 IoT 数据处理中，每个设备数据上传的速度可能是不一样的。这样的设计导致速度上传快的设备需要等待速度上传慢的设备来推动 watermark。

不用的 key 代表不同的设备，在业务逻辑上是不同的，event time 和数据上传速度也不同，却要共享同一个 Operator 的 watermark，这是没有道理的。

在网上搜索的时候，找到一篇资料也提到了这个问题。https://bigdata.cs.ut.ee/keyed-watermarks-partition-aware-watermark-generation-apache-flink



Best &nbsp;regards
Utopia