这个问题拾起来,还有人回答下吗。
yidan zhao <
[hidden email]> 于2021年5月24日周一 上午10:25写道:
>
> 如题,Flink/FlinkSQL如何开启检查点,但自动重启不基于检查点,或者基于检查点重启但忽略kafkaSource的状态。
> 目前Flink部分我自己覆盖了部分实现,可以实现基于检查点重启但忽略KafkaSource的offset状态。
> 现在是FlinkSQL部分,我目前都是设置很大的重启次数,但是自动重启后经常还是慢等导致继续ckpt失败,这个是恶性循环的。所以我目前希望是自动重启后忽略堆积的数据。
> 有个方法是不开启检查点,并设置自动重启。可以实现效果,不过还有个麻烦点是:如果不开启检查点,目前就没办法从 flink 的 web-ui 上看出任务是否经历过重启,比如ckpt_restored这个指标。我之前都是基于这个指标知道任务已经重启多少次的,我虽然希望任务能自动重启,并忽略堆积的数据,但偶尔人工看的时候还是需要知道任务是什么运行情况的。