Apache Flink 中文用户邮件列表
Search
everywhere
only in this topic
Advanced Search
checkpoint、state
Classic
List
Threaded
♦
♦
Locked
4 messages
lec ssmi
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
checkpoint、state
flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
Congxian Qiu
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: checkpoint、state
Hi
Checkpoint 是所有本地 state 的一个快照,用于程序出现故障后,进行恢复使用。
Best,
Congxian
hahaha sc <
[hidden email]
> 于2019年11月29日周五 下午4:12写道:
>
> flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
> 昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
>
Px New
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: checkpoint、state
In reply to
this post
by lec ssmi
Yes, CheckPoint 是一个封装后的Meta信息 而这个被封装的Meta信息是有所有Operator 的state 的组成了
hahaha sc <
[hidden email]
> 于2019年11月29日周五 下午4:12写道:
>
> flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
> 昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
>
LakeShen
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: checkpoint、state
状态先存到本地 比直接存到 HDFS 速度更快,对于 RocksDBStateBackend,状态会先存到本地,然后异步存储到 HDFS。
Px New <
[hidden email]
> 于2020年1月10日周五 上午10:27写道:
> Yes, CheckPoint 是一个封装后的Meta信息 而这个被封装的Meta信息是有所有Operator 的state 的组成了
>
> hahaha sc <
[hidden email]
> 于2019年11月29日周五 下午4:12写道:
>
> >
> >
> flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
> > 昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
> >
>
Free forum by Nabble
Edit this page