任务运行期间hdfs重启,如何自动恢复?

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

任务运行期间hdfs重启,如何自动恢复?

amenhub@163.com
hi everyone,

版本:Flink-1.12.0目
前有kafka->hdfs的flink任务一直运行,但节前遭遇了hdfs重启,发现flink任务直接异常失败,Connection refused,而配置的restart strategy似乎没有生效。此外,检查点和保存点都是保存在hdfs上。

请问这种情况只能够等待hdfs重启完成后,手动从hdfs重启前最完整的checkpoint处恢复任务吗?是否有其他自动恢复的可配置操作?

best,
amenhub