回复:怎样把 state 定时写到外部存储

classic Classic list List threaded Threaded
6 messages Options
Reply | Threaded
Open this post in threaded view
|

回复:怎样把 state 定时写到外部存储

Jun Zhang-2
是否可以注册一个定时器?


你看看这个文章,是否对你有帮助


https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA
     在2019年10月31日 10:16,[hidden email]<[hidden email]&gt; 写道:
 
 
消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。
有没有什么方式可以定期读 state 写到外部存储?
我现在用的是 Flink1.7.2 版本。





[hidden email]
Reply | Threaded
Open this post in threaded view
|

Re: 怎样把 state 定时写到外部存储

Congxian Qiu
好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢?

Best,
Congxian


Jun Zhang <[hidden email]> 于2019年10月31日周四 上午10:36写道:

> 是否可以注册一个定时器?
>
>
> 你看看这个文章,是否对你有帮助
>
>
> https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA
>      在2019年10月31日 10:16,[hidden email]<[hidden email]&gt;
> 写道:
>
>
> 消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。
> 有没有什么方式可以定期读 state 写到外部存储?
> 我现在用的是 Flink1.7.2 版本。
>
>
>
>
>
> [hidden email]
Reply | Threaded
Open this post in threaded view
|

Re: Re: 怎样把 state 定时写到外部存储

wanglei2@geekplus.com.cn
Hi Congxian,

以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。
我们的 case 是写到 MySQL 中



[hidden email]
 
Sender: Congxian Qiu
Send Time: 2019-11-01 10:10
Receiver: user-zh
Subject: Re: 怎样把 state 定时写到外部存储
好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢?
 
Best,
Congxian
 
 
Jun Zhang <[hidden email]> 于2019年10月31日周四 上午10:36写道:
 

> 是否可以注册一个定时器?
>
>
> 你看看这个文章,是否对你有帮助
>
>
> https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA
>      在2019年10月31日 10:16,[hidden email]<[hidden email]&gt;
> 写道:
>
>
> 消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。
> 有没有什么方式可以定期读 state 写到外部存储?
> 我现在用的是 Flink1.7.2 版本。
>
>
>
>
>
> [hidden email]
Reply | Threaded
Open this post in threaded view
|

Re: Re: 怎样把 state 定时写到外部存储

misaki L
使用 window 聚合一下批量写呢?

[hidden email] <[hidden email]> 于2019年11月1日周五 上午10:17写道:

> Hi Congxian,
>
> 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。
> 我们的 case 是写到 MySQL 中
>
>
>
> [hidden email]
>
> Sender: Congxian Qiu
> Send Time: 2019-11-01 10:10
> Receiver: user-zh
> Subject: Re: 怎样把 state 定时写到外部存储
> 好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢?
>
> Best,
> Congxian
>
>
> Jun Zhang <[hidden email]> 于2019年10月31日周四 上午10:36写道:
>
> > 是否可以注册一个定时器?
> >
> >
> > 你看看这个文章,是否对你有帮助
> >
> >
> > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA
> >      在2019年10月31日 10:16,[hidden email]<
> [hidden email]&gt;
> > 写道:
> >
> >
> > 消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。
> > 有没有什么方式可以定期读 state 写到外部存储?
> > 我现在用的是 Flink1.7.2 版本。
> >
> >
> >
> >
> >
> > [hidden email]
>
Reply | Threaded
Open this post in threaded view
|

Re: Re: 怎样把 state 定时写到外部存储

Biao Liu
你好,

对你的问题描述有一些疑问

> 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住
> 有没有什么方式可以定期读 state 写到外部存储?

这里是什么意思呢?更改 state 值和写外部系统存储应该是两个独立的事件。state 是 Flink 内部使用的,给外部系统使用的数据一般通过
sink 写出去,和 state 没有直接关系。

从你的描述中,只看到貌似是写 Mysql (是通过 sink 吗?) 扛不住。批量写一下?比如在 sink 中处理一下

如果没理解对你的问题,你可以再详细描述一下

Thanks,
Biao /'bɪ.aʊ/



On Fri, 1 Nov 2019 at 11:21, misaki L <[hidden email]> wrote:

> 使用 window 聚合一下批量写呢?
>
> [hidden email] <[hidden email]> 于2019年11月1日周五
> 上午10:17写道:
>
> > Hi Congxian,
> >
> > 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。
> > 我们的 case 是写到 MySQL 中
> >
> >
> >
> > [hidden email]
> >
> > Sender: Congxian Qiu
> > Send Time: 2019-11-01 10:10
> > Receiver: user-zh
> > Subject: Re: 怎样把 state 定时写到外部存储
> > 好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢?
> >
> > Best,
> > Congxian
> >
> >
> > Jun Zhang <[hidden email]> 于2019年10月31日周四 上午10:36写道:
> >
> > > 是否可以注册一个定时器?
> > >
> > >
> > > 你看看这个文章,是否对你有帮助
> > >
> > >
> > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA
> > >      在2019年10月31日 10:16,[hidden email]<
> > [hidden email]&gt;
> > > 写道:
> > >
> > >
> > > 消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。
> > > 有没有什么方式可以定期读 state 写到外部存储?
> > > 我现在用的是 Flink1.7.2 版本。
> > >
> > >
> > >
> > >
> > >
> > > [hidden email]
> >
>
Reply | Threaded
Open this post in threaded view
|

Re: Re: 怎样把 state 定时写到外部存储

zhisheng
感觉wanglei更想去获取 state 的数据,只不过是需要将 state 数据额外的存储到外部的系统去,但是这样可能性能不太好。

那么可以换个思路来,直降使用 flink 的 state,你外部的直接获取 flink 的 state 呢?使用 flink-queryable-state
获取。

Biao Liu <[hidden email]> 于2019年11月5日周二 上午11:10写道:

> 你好,
>
> 对你的问题描述有一些疑问
>
> > 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住
> > 有没有什么方式可以定期读 state 写到外部存储?
>
> 这里是什么意思呢?更改 state 值和写外部系统存储应该是两个独立的事件。state 是 Flink 内部使用的,给外部系统使用的数据一般通过
> sink 写出去,和 state 没有直接关系。
>
> 从你的描述中,只看到貌似是写 Mysql (是通过 sink 吗?) 扛不住。批量写一下?比如在 sink 中处理一下
>
> 如果没理解对你的问题,你可以再详细描述一下
>
> Thanks,
> Biao /'bɪ.aʊ/
>
>
>
> On Fri, 1 Nov 2019 at 11:21, misaki L <[hidden email]> wrote:
>
> > 使用 window 聚合一下批量写呢?
> >
> > [hidden email] <[hidden email]> 于2019年11月1日周五
> > 上午10:17写道:
> >
> > > Hi Congxian,
> > >
> > > 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。
> > > 我们的 case 是写到 MySQL 中
> > >
> > >
> > >
> > > [hidden email]
> > >
> > > Sender: Congxian Qiu
> > > Send Time: 2019-11-01 10:10
> > > Receiver: user-zh
> > > Subject: Re: 怎样把 state 定时写到外部存储
> > > 好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢?
> > >
> > > Best,
> > > Congxian
> > >
> > >
> > > Jun Zhang <[hidden email]> 于2019年10月31日周四 上午10:36写道:
> > >
> > > > 是否可以注册一个定时器?
> > > >
> > > >
> > > > 你看看这个文章,是否对你有帮助
> > > >
> > > >
> > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA
> > > >      在2019年10月31日 10:16,[hidden email]<
> > > [hidden email]&gt;
> > > > 写道:
> > > >
> > > >
> > > > 消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。
> > > > 有没有什么方式可以定期读 state 写到外部存储?
> > > > 我现在用的是 Flink1.7.2 版本。
> > > >
> > > >
> > > >
> > > >
> > > >
> > > > [hidden email]
> > >
> >
>