文件的增量监控

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

文件的增量监控

lj879933274
各位大佬:

    场景描述:  利用flink监控某个目录下的文件,如果文件内数据增加(追加)了,就进行处理。

    使用方法:  我现在利用ContinuousFileMonitoringFunction 作为source,采用PROCESS_CONTINUOUSLY的处理模式。

    遇见的问题:   当使用这种方法时每次追加文件内容后都是全量的读取文件数据,有没有什么方法让我追加文件后只读取到追加的内容?
Reply | Threaded
Open this post in threaded view
|

Re: 文件的增量监控

yang zhang
这个场景可以利用checkpoint更新偏移量实现。
可以参考代码

https://github.com/liuhouer/np-flink/blob/master/src/main/java/cn/northpark/flink/project2/NP_ExactlyOnceParallelismFileSource.java

发自我的iPhone

> 在 2020年8月27日,08:03,lj879933274 <[hidden email]> 写道:
>
> 各位大佬:
>
>    场景描述:  利用flink监控某个目录下的文件,如果文件内数据增加(追加)了,就进行处理。
>
>    使用方法:  我现在利用ContinuousFileMonitoringFunction 作为source,采用PROCESS_CONTINUOUSLY的处理模式。
>
>    遇见的问题:   当使用这种方法时每次追加文件内容后都是全量的读取文件数据,有没有什么方法让我追加文件后只读取到追加的内容?