Flink的broadcast

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink的broadcast

忝忝向仧
Hi,all:




请教下,flink在生产里面一般多大的数据适合放入broadcastStream里面发到各个下游算子,有没一个生产级别的衡量指标.
感觉这个功能跟hive里面的map join很类似.
谢谢.
Reply | Threaded
Open this post in threaded view
|

Re: Flink的broadcast

Congxian Qiu
Hi
    BroadcastStream 的数据后面会保存在 broadcast state 中,这个需要你考虑 broadcast state
消耗的内存大小(现在 broadcast state 都保存在 内存中),如果太大的话会消耗太多内存的。
Best,
Congxian


忝忝向仧 <[hidden email]> 于2020年7月23日周四 下午10:51写道:

> Hi,all:
>
>
>
>
> 请教下,flink在生产里面一般多大的数据适合放入broadcastStream里面发到各个下游算子,有没一个生产级别的衡量指标.
> 感觉这个功能跟hive里面的map join很类似.
> 谢谢.