自定义InputFormat在发生异常时状态如何保存

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

自定义InputFormat在发生异常时状态如何保存

automths
Hi:
我自定义一个InputFormat,在处理数据的过程中,发生异常,我想要将发生异常的上一个状态保存下来,以便于在问题修复后重启时能接着已经保存的状态点继续处理对应split剩余的数据,但是我又不需要像checkpoint那样,每个隔一段时间保存一下状态。这样的需求该怎么就现有的flink去实现呢?
我用的flink版本:1.12.0




祝好!
automths