flink多流关联

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

flink多流关联

Dream-底限
hi
我们这面想用flink在实时数仓上面做些事情,进行调研后发现数仓可能有多张表进行join、现flink有两种实现方案:第一种是流表lookup时态表,但时态表更新可能会延迟导致查询结果不准确,并且io可能过大;第二种是双流关联,但是如果说有五张表进行join的话,除了状态太大还有其他问题吗,或者说有多流相互等待的问题吗
Reply | Threaded
Open this post in threaded view
|

Re:flink多流关联

Michael Ran
会有相互等待,或者先后不一致的情况,要业务自己衡量等待时间
在 2020-09-27 12:09:23,"Dream-底限" <[hidden email]> 写道:
>hi
>我们这面想用flink在实时数仓上面做些事情,进行调研后发现数仓可能有多张表进行join、现flink有两种实现方案:第一种是流表lookup时态表,但时态表更新可能会延迟导致查询结果不准确,并且io可能过大;第二种是双流关联,但是如果说有五张表进行join的话,除了状态太大还有其他问题吗,或者说有多流相互等待的问题吗
Reply | Threaded
Open this post in threaded view
|

Re: flink多流关联

Dream-底限
hi、
我想问一下就是多个流关联输出的时间点是所有维度全部关联上了才输出吗,比如abcd四个流,abc关联上了但这时d的数据还没有到,这个是不触发输出的吧

Michael Ran <[hidden email]> 于2020年9月27日周日 下午2:38写道:

> 会有相互等待,或者先后不一致的情况,要业务自己衡量等待时间
> 在 2020-09-27 12:09:23,"Dream-底限" <[hidden email]> 写道:
> >hi
>
> >我们这面想用flink在实时数仓上面做些事情,进行调研后发现数仓可能有多张表进行join、现flink有两种实现方案:第一种是流表lookup时态表,但时态表更新可能会延迟导致查询结果不准确,并且io可能过大;第二种是双流关联,但是如果说有五张表进行join的话,除了状态太大还有其他问题吗,或者说有多流相互等待的问题吗
>
Reply | Threaded
Open this post in threaded view
|

Re:Re: flink多流关联

Michael Ran
一般有个等待时间,比如join不上,你设置等待1小时没来,就xxx...
在 2020-09-27 15:30:58,"Dream-底限" <[hidden email]> 写道:

>hi、
>我想问一下就是多个流关联输出的时间点是所有维度全部关联上了才输出吗,比如abcd四个流,abc关联上了但这时d的数据还没有到,这个是不触发输出的吧
>
>Michael Ran <[hidden email]> 于2020年9月27日周日 下午2:38写道:
>
>> 会有相互等待,或者先后不一致的情况,要业务自己衡量等待时间
>> 在 2020-09-27 12:09:23,"Dream-底限" <[hidden email]> 写道:
>> >hi
>>
>> >我们这面想用flink在实时数仓上面做些事情,进行调研后发现数仓可能有多张表进行join、现flink有两种实现方案:第一种是流表lookup时态表,但时态表更新可能会延迟导致查询结果不准确,并且io可能过大;第二种是双流关联,但是如果说有五张表进行join的话,除了状态太大还有其他问题吗,或者说有多流相互等待的问题吗
>>