sql-client checkpoint sql-client

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

sql-client checkpoint sql-client

引领


想尝试采用flink-cdc 来清洗数据,但是尝试下来,困于几点:
① 使用sql-client 开启checkpoint ,如果程序挂掉,该如何接着checkpoint,继续执行相应程序。尤其是在执行group by或者是count等操作时该如何办?
② 如果以上方式不行,是否可以采用写代码的形式,重启时指定checkpoint,但还是采用flink-cdc的方式去消费
| |
引领
|
|
[hidden email]
|
签名由网易邮箱大师定制

Reply | Threaded
Open this post in threaded view
|

Re: sql-client checkpoint sql-client

Harold.Miao
从checkpoint恢复  官方还不支持   我司是修改了sql-client来支持这个需求的

引领 <[hidden email]> 于2020年9月4日周五 下午6:13写道:

>
>
> 想尝试采用flink-cdc 来清洗数据,但是尝试下来,困于几点:
> ① 使用sql-client 开启checkpoint ,如果程序挂掉,该如何接着checkpoint,继续执行相应程序。尤其是在执行group
> by或者是count等操作时该如何办?
> ② 如果以上方式不行,是否可以采用写代码的形式,重启时指定checkpoint,但还是采用flink-cdc的方式去消费
> | |
> 引领
> |
> |
> [hidden email]
> |
> 签名由网易邮箱大师定制
>
>

--

Best Regards,
Harold Miao
Reply | Threaded
Open this post in threaded view
|

Re: sql-client checkpoint sql-client

Jark
Administrator
1.  程序挂掉,是会自动从上一个 checkpoint 恢复的,只需要你配上重启机制即可。
2. 如果你希望改了 sql 代码还能复用之前的 state ,sql client 目前是不支持从指定 savepoint/checkpoint
恢复的,需要自己Table API program,然后通过 flink run 来运行。
    (注意这种方式也不一定能复用 state,要看拓扑结构和 state 结构是否有改变)


Best,
Jark

On Mon, 14 Sep 2020 at 09:53, Harold.Miao <[hidden email]> wrote:

> 从checkpoint恢复  官方还不支持   我司是修改了sql-client来支持这个需求的
>
> 引领 <[hidden email]> 于2020年9月4日周五 下午6:13写道:
>
> >
> >
> > 想尝试采用flink-cdc 来清洗数据,但是尝试下来,困于几点:
> > ① 使用sql-client 开启checkpoint ,如果程序挂掉,该如何接着checkpoint,继续执行相应程序。尤其是在执行group
> > by或者是count等操作时该如何办?
> > ② 如果以上方式不行,是否可以采用写代码的形式,重启时指定checkpoint,但还是采用flink-cdc的方式去消费
> > | |
> > 引领
> > |
> > |
> > [hidden email]
> > |
> > 签名由网易邮箱大师定制
> >
> >
>
> --
>
> Best Regards,
> Harold Miao
>