flink sql 并发数问题

[Jeff]

hi all,


用flink sql消费kafka数据，有效并发数是由kafka分区数来决定的，请问有什么方法提高有效并发数吗？ 因为有一个UDF是请求python http服务，速度不快，有没有方法单独提高这一块的并发数呢?  

[Smile]

Hi Jeff，

对于 SQL，现在只能设置整个 SQL 的并发，不能单独提高某个算子的并发。
不过可以考虑把消费 Kafka 的部分用 DataStream 来实现，然后再把 DataStream 转成 Table 去跑 SQL。这样消费
Kafka 的并发和 SQL 的并发就可以分开来设置了。

还有一个想法是如果你的 Kafka Source 到 UDF 之间有 hash （比如 Group By）之类的重分发的逻辑，是否可以忽略 Kafka
的分区数直接提高整个的并发？这样重分发后面的算子都是有效并发，只有重分发之前会有一些无效实例，不过这个方式不是很推荐，低版本可能会有算子状态变成
finished 影响 Checkpoint 制作。

Smile



--
Sent from: http://apache-flink.147419.n8.nabble.com/