退订
| |
chq19970719
|
|
邮箱：
[hidden email]
|
Signature is customized by Netease Mail Master
在2020年07月14日 12:15，Yun Tang 写道：
对于Flink本身机制不支持的场景，可以通过直接修改Checkpoint meta 文件同时将meta以及data文件迁移到新HDFS集群也能做到，加载Checkpoint的具体代码可以参照Checkpoints#loadAndValidateCheckpoint [1]，而存储Checkpoint的代码可以参照Checkpoints#storeCheckpointMetadata [2]
[1]
https://github.com/apache/flink/blob/5125b1123dfcfff73b5070401dfccb162959080c/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L124[2]
https://github.com/apache/flink/blob/5125b1123dfcfff73b5070401dfccb162959080c/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L81祝好
唐云
________________________________
From: Dream-底限 <
[hidden email]>
Sent: Tuesday, July 14, 2020 11:57
To:
[hidden email] <
[hidden email]>
Subject: Re: flink1.9状态及作业迁移
hi、
请问对于下面的情况，Checkpoint meta中存储的hdfs namespace可以修改吗
》》Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。
Yun Tang <
[hidden email]> 于2020年7月14日周二 上午11:54写道：
> Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。
>
> Flink-1.11 支持将savepoint（但是不支持Checkpoint）进行位置迁移 [1]，而对于Flink-1.9，二者均不支持。
>
>
> [1]
https://issues.apache.org/jira/browse/FLINK-5763>
> 祝好
> 唐云
>
> ________________________________
> From: Dream-底限 <
[hidden email]>
> Sent: Tuesday, July 14, 2020 11:07
> To:
[hidden email] <
[hidden email]>
> Subject: flink1.9状态及作业迁移
>
> hi：
>
> flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？
>
Locked
