请教关于Flink算子FINISHED状态时无法保存Checkpoint的问题

[yulu yang]

请教大佬一个我最近在配置Flink流的过程中遇到问题，
flink作业中关联使用了物理表（字典表），在flinkjob启动后，会对字典表进行一次读取，然后该算子会变成FINISHED状态，导致该flinkjob无法保存checkpoint和savepoint。一般大家遇到这种问题都是怎么处理的，我这个作业在数据加工过程中必须用到字典表赋值。

[Congxian Qiu]

Hi
    现在 checkpoint/savepoint 需要所有算子都处于 RUNNING 状态，不过社区也有一些 issue
希望能够优化这个问题[1][2]

[1] https://issues.apache.org/jira/browse/FLINK-2491
[2] https://issues.apache.org/jira/browse/FLINK-18263
Best,
Congxian


yulu yang <[hidden email]> 于2020年8月13日周四 下午1:49写道：

> 请教大佬一个我最近在配置Flink流的过程中遇到问题，
>
> flink作业中关联使用了物理表（字典表），在flinkjob启动后，会对字典表进行一次读取，然后该算子会变成FINISHED状态，导致该flinkjob无法保存checkpoint和savepoint。一般大家遇到这种问题都是怎么处理的，我这个作业在数据加工过程中必须用到字典表赋值。
>

[Congxian Qiu]

Hi
   不好意思，上一份邮件没有说完就发送出去了。
   如果你希望把从其他地方读入 字典表，然后在 flink 中使用，或许可以看看 broadcast state[1]

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/stream/state/broadcast_state.html
Best,
Congxian


Congxian Qiu <[hidden email]> 于2020年8月13日周四 下午2:00写道：

> Hi
>     现在 checkpoint/savepoint 需要所有算子都处于 RUNNING 状态，不过社区也有一些 issue
> 希望能够优化这个问题[1][2]
>
> [1] https://issues.apache.org/jira/browse/FLINK-2491
> [2] https://issues.apache.org/jira/browse/FLINK-18263
> Best,
> Congxian
>
>
> yulu yang <[hidden email]> 于2020年8月13日周四 下午1:49写道：
>
>> 请教大佬一个我最近在配置Flink流的过程中遇到问题，
>>
>> flink作业中关联使用了物理表（字典表），在flinkjob启动后，会对字典表进行一次读取，然后该算子会变成FINISHED状态，导致该flinkjob无法保存checkpoint和savepoint。一般大家遇到这种问题都是怎么处理的，我这个作业在数据加工过程中必须用到字典表赋值。
>>
>

[yulu yang]

收到，十分感谢，我学习一下！

Congxian Qiu <[hidden email]> 于2020年8月13日周四 下午2:04写道：

> Hi
>    不好意思，上一份邮件没有说完就发送出去了。
>    如果你希望把从其他地方读入 字典表，然后在 flink 中使用，或许可以看看 broadcast state[1]
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/stream/state/broadcast_state.html
> Best,
> Congxian
>
>
> Congxian Qiu <[hidden email]> 于2020年8月13日周四 下午2:00写道：
>
> > Hi
> >     现在 checkpoint/savepoint 需要所有算子都处于 RUNNING 状态，不过社区也有一些 issue
> > 希望能够优化这个问题[1][2]
> >
> > [1] https://issues.apache.org/jira/browse/FLINK-2491
> > [2] https://issues.apache.org/jira/browse/FLINK-18263
> > Best,
> > Congxian
> >
> >
> > yulu yang <[hidden email]> 于2020年8月13日周四 下午1:49写道：
> >
> >> 请教大佬一个我最近在配置Flink流的过程中遇到问题，
> >>
> >>
> flink作业中关联使用了物理表（字典表），在flinkjob启动后，会对字典表进行一次读取，然后该算子会变成FINISHED状态，导致该flinkjob无法保存checkpoint和savepoint。一般大家遇到这种问题都是怎么处理的，我这个作业在数据加工过程中必须用到字典表赋值。
> >>
> >
>

--
致
       礼！

                                                               北京理正人信息技术有限公司

综合软件开发部： 杨豫鲁

            TEL:[phone]

[吴磊-2]

在我们的生产环境最常用的做法都是通过维表关联的方式进行赋值的；
或者可以先将字典数据写进redis，然后再在第一次使用的时候去访问redis，并加载到State中。




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年8月13日(星期四) 中午1:49
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;请教关于Flink算子FINISHED状态时无法保存Checkpoint的问题



请教大佬一个我最近在配置Flink流的过程中遇到问题，
flink作业中关联使用了物理表（字典表），在flinkjob启动后，会对字典表进行一次读取，然后该算子会变成FINISHED状态，导致该flinkjob无法保存checkpoint和savepoint。一般大家遇到这种问题都是怎么处理的，我这个作业在数据加工过程中必须用到字典表赋值。

[Congxian Qiu]

Hi  吴磊
    请问你们有比较过使用 Redis 和 broadcast state 在你们场景下的区别吗？是什么原因让你们选择 Redis 而不是
BroadcastState 呢？

Best,
Congxian


吴磊 <[hidden email]> 于2020年8月14日周五 下午3:39写道：

> 在我们的生产环境最常用的做法都是通过维表关联的方式进行赋值的；
> 或者可以先将字典数据写进redis，然后再在第一次使用的时候去访问redis，并加载到State中。
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> [hidden email]&gt;;
> 发送时间:&nbsp;2020年8月13日(星期四) 中午1:49
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;请教关于Flink算子FINISHED状态时无法保存Checkpoint的问题
>
>
>
> 请教大佬一个我最近在配置Flink流的过程中遇到问题，
>
> flink作业中关联使用了物理表（字典表），在flinkjob启动后，会对字典表进行一次读取，然后该算子会变成FINISHED状态，导致该flinkjob无法保存checkpoint和savepoint。一般大家遇到这种问题都是怎么处理的，我这个作业在数据加工过程中必须用到字典表赋值。