这个场景可以利用checkpoint更新偏移量实现。
可以参考代码
https://github.com/liuhouer/np-flink/blob/master/src/main/java/cn/northpark/flink/project2/NP_ExactlyOnceParallelismFileSource.java发自我的iPhone
> 在 2020年8月27日,08:03,lj879933274 <
[hidden email]> 写道:
>
> 各位大佬:
>
> 场景描述: 利用flink监控某个目录下的文件,如果文件内数据增加(追加)了,就进行处理。
>
> 使用方法: 我现在利用ContinuousFileMonitoringFunction 作为source,采用PROCESS_CONTINUOUSLY的处理模式。
>
> 遇见的问题: 当使用这种方法时每次追加文件内容后都是全量的读取文件数据,有没有什么方法让我追加文件后只读取到追加的内容?