HI
1. 当kafka consumer的并发大于kafka partition的情况,多余的并发会怎么样?----->这句话是想问当flink slot数大于kafka partition的时候多的slot(其实就是在slot上创建的kafka consumer)会空跑。
如图:kafka partiton为10个,但是flink slot为15,则有5个节点是空跑的状态。
2. 当kafka consumer并发等于kafka partition个数,但是kafka partition个别分区没有数据的情况,这个空的partition的consumer线程会怎么样?对barrier和watermark的生成有什么影响?
线程和barrier什么情况不是很清楚,watermarker的话他应该会判断当前通道的状态,空跑节点的通道状态应该会被置为IDLE,从而不会被纳入到从各通道中取最小的watermarker去发往下游算子。
在 2019-09-24 10:06:04,"[hidden email]" <[hidden email]> 写道:
>1. 当kafka consumer的并发大于kafka partition的情况,多余的并发会怎么样?
>2. 当kafka consumer并发等于kafka partition个数,但是kafka partition个别分区没有数据的情况,这个空的partition的consumer线程会怎么样?对barrier和watermark的生成有什么影响?
>
>
>
>[hidden email]