Apache Flink 中文用户邮件列表
Search
everywhere
only in this topic
Advanced Search
如果两个计算都需要从同一个kafka topic中读取数据,需要建两个源表吗
Classic
List
Threaded
♦
♦
Locked
2 messages
cuicle
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
如果两个计算都需要从同一个kafka topic中读取数据,需要建两个源表吗
如果两个计算任务,都需要从同一个kafka topic中读取数据,源数据是同一份。
需要建两个源表吗?如果只建一个源表的话,那么两个任务就是同一个consumer group了,请教一下,这样会影响相互的读取进度吗?
scan.startup.mode设置为earliest-offset有影响吗,我理解这样子相当于不使用consumer group的offset了,然后做checkpoint的时候会记录自己当前的offset,是否就不依赖consumer group了?
Smile
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: 如果两个计算都需要从同一个kafka topic中读取数据,需要建两个源表吗
两个源表是什么意思呀,一般多个任务都是需要使用不同的 consumer group 的,可以在消费的时候用 setGroupId 设置,参考官网文档 Kafka Connector[1]
[1].
https://ci.apache.org/projects/flink/flink-docs-master/docs/connectors/datastream/kafka/
Free forum by Nabble
Edit this page