Apache Flink 中文用户邮件列表

回复：save point容灾方案咨询

Classic

List

Threaded

2 messages Options

Yichao Yang

回复：save point容灾方案咨询

+1，如果主备都在flink内的话，可能会加倍做checkpoint的负载，个人理解直接在状态后端内部做主备集群同步效率会更高

------------------ 原始邮件 ------------------
发件人: tison <[hidden email]>
发送时间: 2020年5月17日 20:50
收件人: user-zh <[hidden email]>
主题: 回复：save point容灾方案咨询

这个我理解不在 Flink 的范畴里啊。你 savepoint 存到一个位置，然后外部挂一个同步器在主集群和容灾集群里同步（savepoint
目录）就可以吧。

Best,
tison.

zhisheng <[hidden email]> 于2020年5月17日周日下午8:40写道：

> hi
>
> 如果做 Checkpoint 或者 Savepoint 的时候可以填两个 HDFS 集群的地址路径（一个是你的主集群/另一个是容灾集群）
> 是不是就可以解决你现在的问题，达到你想要的需求？
>
> Best
>
> zhisheng
>
> 请叫我雷锋 <[hidden email]> 于2020年5月17日周日下午7:32写道：
>
> > 谢谢关注：
> >
> >
> > savepoint 容灾是指的，每次执行savepoint生成的文件，能够在容灾集群上做备份。当主集群变得不可用时，可以将任务迁移到容灾
> > 集群进行根据savepoint 进行任务恢复。
> >
> >
> > ------------------&nbsp;原始邮件&nbsp;------------------
> > 发件人:&nbsp;"Congxian Qiu"<[hidden email]&gt;;
> > 发送时间:&nbsp;2020年5月17日(星期天) 晚上6:01
> > 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
> >
> > 主题:&nbsp;Re: save point容灾方案咨询
> >
> >
> >
> > 你好
> >
> > 请问这里的 savepoint 容灾的 “容灾” 具体是指什么呢？希望解决什么问题呢？
> >
> > Best,
> > Congxian
> >
> >
> > LakeShen <[hidden email]&gt; 于2020年5月15日周五上午10:20写道：
> >
> > &gt; Hi ,
> > &gt;
> > &gt; 你可以把你的场景在描述的详细一些。
> > &gt;
> > &gt; Best,
> > &gt; LakeShen
> > &gt;
> > &gt; 请叫我雷锋 <[hidden email]&gt; 于2020年5月14日周四下午9:42写道：
> > &gt;
> > &gt; &gt; 各位大佬好，请问有啥好的save point容灾方案嘛？
> > &gt; &gt;
> > &gt; &gt;
> > &gt; &gt;
> > &gt; &gt; 发自我的iPhone
> > &gt;
>

Congxian Qiu

Re: save point容灾方案咨询

你好

据我所知，这个在 Flink 不太好支持，你可以试试看存储层是否能够实现类似的需求，另外 FLINK-5763[1]
或许对你有用，FLINK-5763 能够更好地支持 savepoint 在集群间的迁移

[1] https://issues.apache.org/jira/browse/FLINK-5763
Best,
Congxian

1048262223 <[hidden email]> 于2020年5月17日周日下午9:17写道：

> +1，如果主备都在flink内的话，可能会加倍做checkpoint的负载，个人理解直接在状态后端内部做主备集群同步效率会更高
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: tison <[hidden email]>
> 发送时间: 2020年5月17日 20:50
> 收件人: user-zh <[hidden email]>
> 主题: 回复：save point容灾方案咨询
>
>
>
> 这个我理解不在 Flink 的范畴里啊。你 savepoint 存到一个位置，然后外部挂一个同步器在主集群和容灾集群里同步（savepoint
> 目录）就可以吧。
>
> Best,
> tison.
>
>
> zhisheng <[hidden email]> 于2020年5月17日周日下午8:40写道：
>
> > hi
> >
> > 如果做 Checkpoint 或者 Savepoint 的时候可以填两个 HDFS 集群的地址路径（一个是你的主集群/另一个是容灾集群）
> > 是不是就可以解决你现在的问题，达到你想要的需求？
> >
> > Best
> >
> > zhisheng
> >
> > 请叫我雷锋 <[hidden email]> 于2020年5月17日周日下午7:32写道：
> >
> > > 谢谢关注：
> > >
> > >
> > > savepoint 容灾
> 是指的，每次执行savepoint生成的文件，能够在容灾集群上做备份。当主集群变得不可用时，可以将任务迁移到容灾
> > > 集群进行根据savepoint 进行任务恢复。
> > >
> > >
> > > ------------------&nbsp;原始邮件&nbsp;------------------
> > > 发件人:&nbsp;"Congxian Qiu"<[hidden email]&gt;;
> > > 发送时间:&nbsp;2020年5月17日(星期天) 晚上6:01
> > > 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
> > >
> > > 主题:&nbsp;Re: save point容灾方案咨询
> > >
> > >
> > >
> > > 你好
> > >
> > > 请问这里的 savepoint 容灾的 “容灾” 具体是指什么呢？希望解决什么问题呢？
> > >
> > > Best,
> > > Congxian
> > >
> > >
> > > LakeShen <[hidden email]&gt; 于2020年5月15日周五
> 上午10:20写道：
> > >
> > > &gt; Hi ,
> > > &gt;
> > > &gt; 你可以把你的场景在描述的详细一些。
> > > &gt;
> > > &gt; Best,
> > > &gt; LakeShen
> > > &gt;
> > > &gt; 请叫我雷锋 <[hidden email]&gt; 于2020年5月14日周四下午9:42写道：
> > > &gt;
> > > &gt; &gt; 各位大佬好，请问有啥好的save point容灾方案嘛？
> > > &gt; &gt;
> > > &gt; &gt;
> > > &gt; &gt;
> > > &gt; &gt; 发自我的iPhone
> > > &gt;
> >