【Flink的shuffle Mode】

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

【Flink的shuffle Mode】

忝忝向仧
Hi,all:


debug跟踪flink 1.10.0的源码,比如一个简单的join操作.
我看源码生成的StreamNode里面,shufflemode都是undefined的,也就是说flink的默认shuffle是undefined的吗?


shuffleMode=UNDEFINED




谢谢.
Reply | Threaded
Open this post in threaded view
|

Re: 【Flink的shuffle Mode】

Shengkai Fang
Hi, 在Datastream api之中我们可以控制shuffle的模式[1],但是在Table api 似乎暂时还不提供控制shuffle
mode的接口。
我对join算子的实现不太熟悉,这个需要shuffle吗?对于agg操作,它的partition模式是由group by的key控制的。

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/stream/operators/#physical-partitioning

忝忝向仧 <[hidden email]> 于2020年10月6日周二 下午6:04写道:

> Hi,all:
>
>
> debug跟踪flink 1.10.0的源码,比如一个简单的join操作.
>
> 我看源码生成的StreamNode里面,shufflemode都是undefined的,也就是说flink的默认shuffle是undefined的吗?
>
>
> shuffleMode=UNDEFINED
>
>
>
>
> 谢谢.