flink消费kafka得问题

classic Classic list List threaded Threaded
2 messages Options
cs
Reply | Threaded
Open this post in threaded view
|

flink消费kafka得问题

cs
Hi all,请教一个问题,我起了两个一模一样得flink程序,消费得同一个topic使用的同一个group id。根据程序得运行情况看,两个程序可以同时获取kakfa得全量数据。但我想要得情况是每个flink程序只消费一半得数据,既同一个group id应该做组内竞争得关系。我应该配置什么吗?
Reply | Threaded
Open this post in threaded view
|

Re: flink消费kafka得问题

Charoes
hi,
参考文档里, 两个flink可以消费不同的partitions.

Map<KafkaTopicPartition, Long> specificStartOffsets = new
HashMap<>();specificStartOffsets.put(new
KafkaTopicPartition("myTopic", 0), 23L);specificStartOffsets.put(new
KafkaTopicPartition("myTopic", 1), 31L);specificStartOffsets.put(new
KafkaTopicPartition("myTopic", 2), 43L);
myConsumer.setStartFromSpecificOffsets(specificStartOffsets);


On Fri, Dec 6, 2019 at 1:56 PM cs <[hidden email]> wrote:

> Hi all,请教一个问题,我起了两个一模一样得flink程序,消费得同一个topic使用的同一个group
> id。根据程序得运行情况看,两个程序可以同时获取kakfa得全量数据。但我想要得情况是每个flink程序只消费一半得数据,既同一个group
> id应该做组内竞争得关系。我应该配置什么吗?