flink生成大宽表

[liujian]

Hi:
    大家好,有3张实时的表,相互关联可以形成大宽表,如何一张都会更新,那么我该如何实现流处理,我目标表放到kudu上
    
    我的理解:
       直接使用jdbc-connecter将三张表读取,然后join,再写入,会不会有什么问题

[Ye Chen]

可以用多流join，但是数据延迟会导致join不上，可以侧输出处理下，看业务需求

















在 2021-02-22 11:05:46，"liujian" <[hidden email]> 写道：
>Hi:
>&nbsp; &nbsp; 大家好,有3张实时的表,相互关联可以形成大宽表,如何一张都会更新,那么我该如何实现流处理,我目标表放到kudu上
>&nbsp; &nbsp;&nbsp;
>&nbsp; &nbsp; 我的理解:
>&nbsp; &nbsp; &nbsp; &nbsp;直接使用jdbc-connecter将三张表读取,然后join,再写入,会不会有什么问题

[liujian]

我这三张表历史都非常大,直接读取,相当于缓存了吧,可以直接使用flink多流join吗,不需要先写到hbase里面,然后去查询再关联吗




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2021年2月22日(星期一) 中午11:12
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re:flink生成大宽表



可以用多流join，但是数据延迟会导致join不上，可以侧输出处理下，看业务需求

















在 2021-02-22 11:05:46，"liujian" <[hidden email]&gt; 写道：
&gt;Hi:
&gt;&amp;nbsp; &amp;nbsp; 大家好,有3张实时的表,相互关联可以形成大宽表,如何一张都会更新,那么我该如何实现流处理,我目标表放到kudu上
&gt;&amp;nbsp; &amp;nbsp;&amp;nbsp;
&gt;&amp;nbsp; &amp;nbsp; 我的理解:
&gt;&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp;直接使用jdbc-connecter将三张表读取,然后join,再写入,会不会有什么问题