回撤流-窗口计算

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

回撤流-窗口计算

孙啸龙
Hi,大家好:

版本:1.12.0
方式:Flink sql
问题:双流join后是回撤流,不能窗口计算,这种应用场景是怎么处理的?
Reply | Threaded
Open this post in threaded view
|

Re:回撤流-窗口计算

hailongwang
需要的 window size 大吗,可以使用 min-batch 的 no-window agg 绕过?


Best,
Hailong
在 2020-12-30 17:41:50,"孙啸龙" <[hidden email]> 写道:
>Hi,大家好:
>
>版本:1.12.0
>方式:Flink sql
>问题:双流join后是回撤流,不能窗口计算,这种应用场景是怎么处理的?
Reply | Threaded
Open this post in threaded view
|

Re: 回撤流-窗口计算

孙啸龙
非常感谢回复,
疑问1:实时ETL中,涉及join的操作的很多,一join之后,聚合操作就只能用非窗口计算了吗,这样不是实时etl里基本不能用到窗口和interval join?
疑问2:
Connector='upset-kafka’,读到的是回撤流,
如果后面的操作不能使用到窗口和interval join,是不是在这种情况下 watermark用不到?

> 在 2020年12月30日,下午8:31,hailongwang <[hidden email]> 写道:
>
> 需要的 window size 大吗,可以使用 min-batch 的 no-window agg 绕过?
>
>
> Best,
> Hailong
> 在 2020-12-30 17:41:50,"孙啸龙" <[hidden email]> 写道:
>> Hi,大家好:
>>
>> 版本:1.12.0
>> 方式:Flink sql
>> 问题:双流join后是回撤流,不能窗口计算,这种应用场景是怎么处理的?