flink 维表关联

[lucas.wu]

hi all：
flink的kafka流表与hbase维表关联，维表后面有变动的话，如何将之前关联过的数据进行更新？

[xin Destiny]

Hi，lucas.wu:
我个人觉得可以把join的条件和流对应的数据存放在mapstate中，每次维表的缓存更新数据之后，去mapstate中查询，如果存在对应的KV，将新关联后的数据下发；
不过这样state会占用很大的内存，需要主意state的清理

lucas.wu <[hidden email]> 于2019年12月25日周三 下午5:13写道：

> hi all：
> flink的kafka流表与hbase维表关联，维表后面有变动的话，如何将之前关联过的数据进行更新？

[storm2☀️]

流的大小应该不是无限制的，应该是有个窗口期？窗口期之外的数据离线处理？

xin Destiny <[hidden email]>于2019年12月25日 周三18:13写道：

> Hi，lucas.wu:
>
> 我个人觉得可以把join的条件和流对应的数据存放在mapstate中，每次维表的缓存更新数据之后，去mapstate中查询，如果存在对应的KV，将新关联后的数据下发；
> 不过这样state会占用很大的内存，需要主意state的清理
>
> lucas.wu <[hidden email]> 于2019年12月25日周三 下午5:13写道：
>
> > hi all：
> > flink的kafka流表与hbase维表关联，维表后面有变动的话，如何将之前关联过的数据进行更新？
>

[叶贤勋]

可以使用guava实现维表数据缓存在jvm，可以设置缓存数据有效期


| |
叶贤勋
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2019年12月26日 08:44，李现<[hidden email]> 写道：
流的大小应该不是无限制的，应该是有个窗口期？窗口期之外的数据离线处理？

xin Destiny <[hidden email]>于2019年12月25日 周三18:13写道：

Hi，lucas.wu:

我个人觉得可以把join的条件和流对应的数据存放在mapstate中，每次维表的缓存更新数据之后，去mapstate中查询，如果存在对应的KV，将新关联后的数据下发；
不过这样state会占用很大的内存，需要主意state的清理

lucas.wu <[hidden email]> 于2019年12月25日周三 下午5:13写道：

hi all：
flink的kafka流表与hbase维表关联，维表后面有变动的话，如何将之前关联过的数据进行更新？

[lucas.wu]

Hi 李现
现实确实很难做到对流表进行全量的join，如需全量，state会占用很大的存储，而且后续迁移很困难。请问一下你说的这个方案可以举个例子吗？


原始邮件
发件人:李现[e-mail]
收件人:[hidden email]
发送时间:2019年12月26日(周四) 08:44
主题:Re: flink 维表关联


流的大小应该不是无限制的，应该是有个窗口期？窗口期之外的数据离线处理？ xin Destiny [e-mail]于2019年12月25日 周三18:13写道：  Hi，lucas.wu:   我个人觉得可以把join的条件和流对应的数据存放在mapstate中，每次维表的缓存更新数据之后，去mapstate中查询，如果存在对应的KV，将新关联后的数据下发；  不过这样state会占用很大的内存，需要主意state的清理   lucas.wu [hidden email] 于2019年12月25日周三 下午5:13写道：    hi all：   flink的kafka流表与hbase维表关联，维表后面有变动的话，如何将之前关联过的数据进行更新？