consumer并发与kafka并发不一致的情况

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

consumer并发与kafka并发不一致的情况

gaofeilong198810@163.com
1. 当kafka consumer的并发大于kafka partition的情况,多余的并发会怎么样?
2. 当kafka consumer并发等于kafka partition个数,但是kafka partition个别分区没有数据的情况,这个空的partition的consumer线程会怎么样?对barrier和watermark的生成有什么影响?



[hidden email]
Reply | Threaded
Open this post in threaded view
|

Re:consumer并发与kafka并发不一致的情况

陈赋赟
HI
    1. 当kafka consumer的并发大于kafka partition的情况,多余的并发会怎么样?----->这句话是想问当flink slot数大于kafka partition的时候多的slot(其实就是在slot上创建的kafka consumer)会空跑。
如图:kafka partiton为10个,但是flink slot为15,则有5个节点是空跑的状态。



2. 当kafka consumer并发等于kafka partition个数,但是kafka partition个别分区没有数据的情况,这个空的partition的consumer线程会怎么样?对barrier和watermark的生成有什么影响?
    线程和barrier什么情况不是很清楚,watermarker的话他应该会判断当前通道的状态,空跑节点的通道状态应该会被置为IDLE,从而不会被纳入到从各通道中取最小的watermarker去发往下游算子。




在 2019-09-24 10:06:04,"[hidden email]" <[hidden email]> 写道: >1. 当kafka consumer的并发大于kafka partition的情况,多余的并发会怎么样? >2. 当kafka consumer并发等于kafka partition个数,但是kafka partition个别分区没有数据的情况,这个空的partition的consumer线程会怎么样?对barrier和watermark的生成有什么影响? > > > >[hidden email]