如果多个sql任务从同一个kafka topic中读取

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

如果多个sql任务从同一个kafka topic中读取

cuicle
如果多个sql任务从同一个kafka topic中读取数据进行计算,
是不是每个任务都需要读取topic内全量的数据,如果任务数量多了,kafka流量就打满了,这个有什么办法优化吗?
比如使用DataStream,可以有多个下游的stream共享同一个上游,这样就是需要读取一次kafka的数据了。
补充一下,由于任务不是同时创建的,所以无法写到同一个sql内。
Reply | Threaded
Open this post in threaded view
|

Re: 如果多个sql任务从同一个kafka topic中读取

Zorro
1. Flink DataStream和SQL都可以从指定时间戳开始读取数据,不用全量读取
2. 至于能否共享一个上游,需要看你的业务场景,一般来说一个作业可以写入多个下游,对于可中断的业务,增加下游可以先暂停作业。