Flink SQL共享source 问题

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink SQL共享source 问题

lemon
hi各位:
目前我有一个任务,source table是读取一个topic生成的,但是有6个sink,使用了多条insert 语句输出到同一张mysql表中,按照我的理解,这些insert语句
应该都是共享这个source table的,读取kafka只需要读取一次,但是在运行过程中发现kafka topic有的分区消费的很快有的分区很慢,请问一下可能是什么原因呢?
topic一共是18个分区,任务是18个并行度
Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL共享source 问题

Jark
Administrator
1. 是不是共享了 source,看下 web ui 中的拓扑图就知道了
2. 追数据的时候,或者下游消费速度不一的时候,分区之间消费不均衡是很正常的。
3. 你可以调大 sink 的并发,以及增加 buffer size 来缓解这个问题。

Best,
Jark

On Wed, 2 Dec 2020 at 19:22, zz <[hidden email]> wrote:

> hi各位:
> 目前我有一个任务,source table是读取一个topic生成的,但是有6个sink,使用了多条insert
> 语句输出到同一张mysql表中,按照我的理解,这些insert语句
> 应该都是共享这个source table的,读取kafka只需要读取一次,但是在运行过程中发现kafka
> topic有的分区消费的很快有的分区很慢,请问一下可能是什么原因呢?
> topic一共是18个分区,任务是18个并行度
Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL共享source 问题

Jark
Administrator
4. 看下你的 sink 和 source 是不是 chain 在一个 task 里面的,如果是这样的,那么某个 sink task
慢,就会直接导致这个 source 分区的数据读的慢。

On Thu, 3 Dec 2020 at 21:42, Jark Wu <[hidden email]> wrote:

> 1. 是不是共享了 source,看下 web ui 中的拓扑图就知道了
> 2. 追数据的时候,或者下游消费速度不一的时候,分区之间消费不均衡是很正常的。
> 3. 你可以调大 sink 的并发,以及增加 buffer size 来缓解这个问题。
>
> Best,
> Jark
>
> On Wed, 2 Dec 2020 at 19:22, zz <[hidden email]> wrote:
>
>> hi各位:
>> 目前我有一个任务,source table是读取一个topic生成的,但是有6个sink,使用了多条insert
>> 语句输出到同一张mysql表中,按照我的理解,这些insert语句
>> 应该都是共享这个source table的,读取kafka只需要读取一次,但是在运行过程中发现kafka
>> topic有的分区消费的很快有的分区很慢,请问一下可能是什么原因呢?
>> topic一共是18个分区,任务是18个并行度
>
>