关于flink-streaming cogroup 算子 window 支持sideout 问题

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

关于flink-streaming cogroup 算子 window 支持sideout 问题

zhaiaosen@58.com
flink 1.10.0 中  streaming API 的 coGroup 算子目前还不支持sideout 来处理迟到的消息,请问社区有打算支持吗,


[hidden email]
Reply | Threaded
Open this post in threaded view
|

回复:关于flink-streaming cogroup 算子 window 支持sideout 问题

Yun Gao
Hello,据我所知社区暂时应该没有相应的计划。如果要实现这一功能,参照现在cogroup的实现,我理解可以在上层:

DataStream a = ...
DataStream b = ...

a..connect(b)
    ​.coProcess(new TagFunction()) // 对数据打标成(tag, element),从a来的数据标记为1,从b来的数据标记为2
    ​.keyBy(xx) // 取key的时候,可以根据tag来对a和b的数据做不同的取key的逻辑
    .window(xx)
    ​.sideoutLaterData() // 这里会sideout迟到的消息
    ​.apply(new WindowFunction(){xx}); // 在处理的时候,根据tag来区分a和b的数据,然后做cogroup之前的逻辑。

来实现相应的功能。------------------------------------------------------------------
发件人:[hidden email]<[hidden email]>
日 期:2020年05月21日 11:50:41
收件人:[hidden email]<[hidden email]>
主 题:关于flink-streaming cogroup 算子 window 支持sideout 问题

flink 1.10.0 中  streaming API 的 coGroup 算子目前还不支持sideout 来处理迟到的消息,请问社区有打算支持吗,


[hidden email]

Reply | Threaded
Open this post in threaded view
|

Re: 关于flink-streaming cogroup 算子 window 支持sideout 问题

Congxian Qiu
In reply to this post by zhaiaosen@58.com
Hi

社区现在有一个 issue FLINK-13148[1],可能你会感兴趣,如果和你想要的一致的话,可以在 issue
上进行回复,需要改功能的人越多,功能得到实现的概率会越大。

[1] https://issues.apache.org/jira/browse/FLINK-13148
Best,
Congxian


[hidden email] <[hidden email]> 于2020年5月22日周五 下午4:20写道:

> flink 1.10.0 中  streaming API 的 coGroup 算子目前还不支持sideout
> 来处理迟到的消息,请问社区有打算支持吗,
>
>
> [hidden email]
>