FS StateBackend 到 RocksDB StateBackend 状态恢复问题

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

FS StateBackend 到 RocksDB StateBackend 状态恢复问题

LakeShen
Hi 社区,
       如果实时任务状态后端之前是 FS StateBackend ,然后任务停止后,换成 RocksDB StateBackend
做恢复,作业状态能恢复吗?

Best,
LakeShen
Reply | Threaded
Open this post in threaded view
|

回复:FS StateBackend 到 RocksDB StateBackend 状态恢复问题

fanrui
Hi Lake:


目前的 Flink 版本应该都是不支持的,也就是说换了 StateBackend 不能正常恢复。Flink 1.13 做了这个事情,具体参考:FLIP41 和 FLINK-20976


https://cwiki.apache.org/confluence/display/FLINK/FLIP-41%3A+Unify+Binary+format+for+Keyed+State


https://issues.apache.org/jira/browse/FLINK-2097


Best,
fanrui

---原始邮件---
发件人: "LakeShen"<[hidden email]&gt;
发送时间: 2021年4月1日(周四) 晚上7:16
收件人: "user-zh"<[hidden email]&gt;;
主题: FS StateBackend 到 RocksDB StateBackend 状态恢复问题


Hi 社区,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 如果实时任务状态后端之前是 FS StateBackend ,然后任务停止后,换成 RocksDB StateBackend
做恢复,作业状态能恢复吗?

Best,
LakeShen
Reply | Threaded
Open this post in threaded view
|

Re: FS StateBackend 到 RocksDB StateBackend 状态恢复问题

LakeShen
In reply to this post by LakeShen
确定了 不能

LakeShen <[hidden email]> 于2021年4月1日周四 下午7:15写道:

> Hi 社区,
>        如果实时任务状态后端之前是 FS StateBackend ,然后任务停止后,换成 RocksDB StateBackend
> 做恢复,作业状态能恢复吗?
>
> Best,
> LakeShen
>
Reply | Threaded
Open this post in threaded view
|

Re: FS StateBackend 到 RocksDB StateBackend 状态恢复问题

LakeShen
In reply to this post by fanrui
Hi fanrui,

    thank you so much!

Best,
LakeShen


范瑞 <[hidden email]> 于2021年4月1日周四 下午7:36写道:

> Hi Lake:
>
>
> 目前的 Flink 版本应该都是不支持的,也就是说换了 StateBackend 不能正常恢复。Flink 1.13
> 做了这个事情,具体参考:FLIP41 和 FLINK-20976
>
>
>
> https://cwiki.apache.org/confluence/display/FLINK/FLIP-41%3A+Unify+Binary+format+for+Keyed+State
>
>
> https://issues.apache.org/jira/browse/FLINK-2097
>
>
> Best,
> fanrui
>
> ---原始邮件---
> 发件人: "LakeShen"<[hidden email]&gt;
> 发送时间: 2021年4月1日(周四) 晚上7:16
> 收件人: "user-zh"<[hidden email]&gt;;
> 主题: FS StateBackend 到 RocksDB StateBackend 状态恢复问题
>
>
> Hi 社区,
> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 如果实时任务状态后端之前是 FS StateBackend
> ,然后任务停止后,换成 RocksDB StateBackend
> 做恢复,作业状态能恢复吗?
>
> Best,
> LakeShen