求问为什么KafkaDynamicSource 在批模式下不能运行

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

求问为什么KafkaDynamicSource 在批模式下不能运行

wxpcc
kafka在我们这边场景上除了用来存放实时流式数据,还会用作临时大数据量的存储,主要用于:

1.
数据同步时,将全量数据同步到一个临时的kafka中,增量数据持续性同步到kafka中,目前我们都使用流模式消费其中的数据,就会有手动停止,或者借助指标等自动停止流式任务
2. 数据恢复时
3. 临时查看某个时间区间的数据

如果批模式 sql能够完成这些事情的话那该多好



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: 求问为什么KafkaDynamicSource 在批模式下不能运行

Shengkai Fang
现在Flink 走的是流批一体, 为什么说 Kafka 不支持批模式呢?

wxpcc <[hidden email]> 于2020年12月25日周五 下午7:10写道:

> kafka在我们这边场景上除了用来存放实时流式数据,还会用作临时大数据量的存储,主要用于:
>
> 1.
>
> 数据同步时,将全量数据同步到一个临时的kafka中,增量数据持续性同步到kafka中,目前我们都使用流模式消费其中的数据,就会有手动停止,或者借助指标等自动停止流式任务
> 2. 数据恢复时
> 3. 临时查看某个时间区间的数据
>
> 如果批模式 sql能够完成这些事情的话那该多好
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/