flink1.11的Streaming File Sink问题

classic Classic list List threaded Threaded
2 messages Options
op
Reply | Threaded
Open this post in threaded view
|

flink1.11的Streaming File Sink问题

op
大家好:
    我想知道flink1.11的Streaming File Sink保存流数据到hdfs支持exactly-once语义吗,官网好像没说,谢谢!
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11的Streaming File Sink问题

LiangbinZhang
Hi, op
   
flink内部可以实现exactly-once语义,但是写到hdfs是至少一次的语义,如果任务失败重新启动会发生数据重复的问题,所以需要自己增加逻辑处理。

Best,
Robin


op wrote
> 大家好:
>     我想知道flink1.11的Streaming File
> Sink保存流数据到hdfs支持exactly-once语义吗,官网好像没说,谢谢!





--
Sent from: http://apache-flink.147419.n8.nabble.com/