如果两个计算都需要从同一个kafka topic中读取数据,需要建两个源表吗

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

如果两个计算都需要从同一个kafka topic中读取数据,需要建两个源表吗

cuicle
如果两个计算任务,都需要从同一个kafka topic中读取数据,源数据是同一份。

需要建两个源表吗?如果只建一个源表的话,那么两个任务就是同一个consumer group了,请教一下,这样会影响相互的读取进度吗?

scan.startup.mode设置为earliest-offset有影响吗,我理解这样子相当于不使用consumer group的offset了,然后做checkpoint的时候会记录自己当前的offset,是否就不依赖consumer group了?
Reply | Threaded
Open this post in threaded view
|

Re: 如果两个计算都需要从同一个kafka topic中读取数据,需要建两个源表吗

Smile
两个源表是什么意思呀,一般多个任务都是需要使用不同的 consumer group 的,可以在消费的时候用 setGroupId 设置,参考官网文档 Kafka Connector[1]

[1]. https://ci.apache.org/projects/flink/flink-docs-master/docs/connectors/datastream/kafka/