请问,flink支持StreamFileSink在将pending文件转为finished的时候做一些操作吗

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

请问,flink支持StreamFileSink在将pending文件转为finished的时候做一些操作吗

上官
各位大神,我的工作需要Flink将DataStream中的数据写入到HDFS上,我需要在flink将写入文件变为下游可读的时候,发送一个消息到消息队列,请问Flink支持这种操作吗
Reply | Threaded
Open this post in threaded view
|

Re: 请问,flink支持StreamFileSink在将pending文件转为finished的时候做一些操作吗

Paul Lam
如果使用 RollOnCheckpoint 的文件滚动策略,可以开发一个 UDF 实现 CheckpointListener 接口,在 notifyCheckpointComplete 函数里面发消息。不过要注意这个消息可能会重复。

Best,
Paul Lam

> 2021年2月3日 17:36,上官 <[hidden email]> 写道:
>
> 各位大神,我的工作需要Flink将DataStream中的数据写入到HDFS上,我需要在flink将写入文件变为下游可读的时候,发送一个消息到消息队列,请问Flink支持这种操作吗