双流在时间窗口join的问题

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

双流在时间窗口join的问题

646208563
hi~最近在做一个双流join的需求,由于流中数据不稳定,定义了一个2个小时触发一次的翻滚窗口。但是,这样带来的问题是,state要积攒2个小时的数据,才去触发连接,并输出结果。
我想的是,有没有办法实现,2个小时中,只要有join成功的数据就输出,只有join不到的数据才会存在state中等待。等到2个小时一到,就移除windows。请问大家有实现过这种需求么,或者大家还有别的解决的思路,或者我理解的本身就不对,请大家多多指教。