flink 1.11 rest api saveppoint接口 异常

[taowang]

在升级了 flink 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常：
在 flink 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint 被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint 成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。
但是在flink 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints 接口正常返回，/jobs/:jobid/savepoints/:triggerid 也返回IN_PROGRESS，但是在flink ui 中看不到 savepoint 被触发，而且/jobs/:jobid/savepoints/:triggerid 一直返回IN_PROGRESS。
我怀疑这个是不是和我开了 unaligned checkpoint 有关，但是我在 flink-config.yaml中把execution.checkpointing.unaligned设置为false还是会出现这种问题，请问大家有什么了解吗？


rest api flink docs 链接：https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/rest_api.html#jobs-jobid-savepoints


祝好~

[Congxian Qiu]

Hi
   开启 unalign checkpoint 的情况下，如果有 checkpoint 正在做的话，那么 savepoint 会等待的[1]，但是把
unaligned checkpoint 关闭之后，还有这个现象看上去不太符合预期。关闭之后这种现象出现的时候，也有 checkpoint 正在做吗？

[1] https://issues.apache.org/jira/browse/FLINK-17342
Best,
Congxian


taowang <[hidden email]> 于2020年7月28日周二 下午5:05写道：

> 在升级了 flink 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常：
> 在 flink 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint
> 被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint
> 成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。
> 但是在flink 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints
> 接口正常返回，/jobs/:jobid/savepoints/:triggerid 也返回IN_PROGRESS，但是在flink ui 中看不到
> savepoint 被触发，而且/jobs/:jobid/savepoints/:triggerid 一直返回IN_PROGRESS。
> 我怀疑这个是不是和我开了 unaligned checkpoint 有关，但是我在
> flink-config.yaml中把execution.checkpointing.unaligned设置为false还是会出现这种问题，请问大家有什么了解吗？
>
>
> rest api flink docs 链接：
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/rest_api.html#jobs-jobid-savepoints
>
>
> 祝好~

[taowang]

是的，其实无论是否开启了unaligned checkpoint，我在调用这个接口的时候都没有 checkpoint 在做。
而且等待的话，我认为如果有正在做的，那么正在做的 checkpoint执行完成之后新的 savepoint 应该会开始执行吧，但我看到的现象是等了半个小时依旧是 IN_PROGRESS状态，正常状态下，一个 checkpoint 的执行时间也就几秒钟，正常的 savpoint 执行完成最多也只需要几分钟。




 原始邮件
发件人: Congxian Qiu<[hidden email]>
收件人: user-zh<[hidden email]>
发送时间: 2020年7月28日(周二) 18:09
主题: Re: flink 1.11 rest api saveppoint接口 异常


Hi 开启 unalign checkpoint 的情况下，如果有 checkpoint 正在做的话，那么 savepoint 会等待的[1]，但是把 unaligned checkpoint 关闭之后，还有这个现象看上去不太符合预期。关闭之后这种现象出现的时候，也有 checkpoint 正在做吗？ [1] https://issues.apache.org/jira/browse/FLINK-17342 Best, Congxian taowang <[hidden email]> 于2020年7月28日周二 下午5:05写道： > 在升级了 flink 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常： > 在 flink 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint > 被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint > 成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。 > 但是在flink 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints > 接口正常返回，/jobs/:jobid/savepoints/:triggerid 也返回IN_PROGRESS，但是在flink ui 中看不到 > savepoint 被触发，而且/jobs/:jobid/savepoints/:triggerid 一直返回IN_PROGRESS。 > 我怀疑这个是不是和我开了 unaligned checkpoint 有关，但是我在 > flink-config.yaml中把execution.checkpointing.unaligned设置为false还是会出现这种问题，请问大家有什么了解吗？ > > > rest api flink docs 链接： > https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/rest_api.html#jobs-jobid-savepoints > > > 祝好~

[taowang]

我再次确认了一下，可能是因为我设置了checkpoint的setMinPauseBetweenCheckpoints，所以在上一次 checkpoint 和这个间隔之间触发 savepoint 不会生效，但是接口返回了IN_PROGRESS 的状态，我觉得这里应该是有点问题的。


 原始邮件
发件人: taowang<[hidden email]>
收件人: user-zh<[hidden email]>
发送时间: 2020年7月28日(周二) 18:53
主题: Re: flink 1.11 rest api saveppoint接口 异常


是的，其实无论是否开启了unaligned checkpoint，我在调用这个接口的时候都没有 checkpoint 在做。 而且等待的话，我认为如果有正在做的，那么正在做的 checkpoint执行完成之后新的 savepoint 应该会开始执行吧，但我看到的现象是等了半个小时依旧是 IN_PROGRESS状态，正常状态下，一个 checkpoint 的执行时间也就几秒钟，正常的 savpoint 执行完成最多也只需要几分钟。 原始邮件 发件人: Congxian Qiu<[hidden email]> 收件人: user-zh<[hidden email]> 发送时间: 2020年7月28日(周二) 18:09 主题: Re: flink 1.11 rest api saveppoint接口 异常 Hi 开启 unalign checkpoint 的情况下，如果有 checkpoint 正在做的话，那么 savepoint 会等待的[1]，但是把 unaligned checkpoint 关闭之后，还有这个现象看上去不太符合预期。关闭之后这种现象出现的时候，也有 checkpoint 正在做吗？ [1] https://issues.apache.org/jira/browse/FLINK-17342 Best, Congxian taowang <[hidden email]> 于2020年7月28日周二 下午5:05写道： > 在升级了 flink 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常： > 在 flink 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint > 被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint > 成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。 > 但是在flink 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints > 接口正常返回，/jobs/:jobid/savepoints/:triggerid 也返回IN_PROGRESS，但是在flink ui 中看不到 > savepoint 被触发，而且/jobs/:jobid/savepoints/:triggerid 一直返回IN_PROGRESS。 > 我怀疑这个是不是和我开了 unaligned checkpoint 有关，但是我在 > flink-config.yaml中把execution.checkpointing.unaligned设置为false还是会出现这种问题，请问大家有什么了解吗？ > > > rest api flink docs 链接： > https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/rest_api.html#jobs-jobid-savepoints > > > 祝好~

[Congxian Qiu]

Hi  taowang
   感谢你的更新，这个地方应该是 savepoint trigger 的逻辑有问题，现在确实
setMinPauseBetweenCheckpoints 会影响 savepoint，我创建一个 issue 来跟进一下这个问题

Best,
Congxian


taowang <[hidden email]> 于2020年7月29日周三 下午12:29写道：

> 我再次确认了一下，可能是因为我设置了checkpoint的setMinPauseBetweenCheckpoints，所以在上一次
> checkpoint 和这个间隔之间触发 savepoint 不会生效，但是接口返回了IN_PROGRESS 的状态，我觉得这里应该是有点问题的。
>
>
>  原始邮件
> 发件人: taowang<[hidden email]>
> 收件人: user-zh<[hidden email]>
> 发送时间: 2020年7月28日(周二) 18:53
> 主题: Re: flink 1.11 rest api saveppoint接口 异常
>
>
> 是的，其实无论是否开启了unaligned checkpoint，我在调用这个接口的时候都没有 checkpoint 在做。
> 而且等待的话，我认为如果有正在做的，那么正在做的 checkpoint执行完成之后新的 savepoint
> 应该会开始执行吧，但我看到的现象是等了半个小时依旧是 IN_PROGRESS状态，正常状态下，一个 checkpoint 的执行时间也就几秒钟，正常的
> savpoint 执行完成最多也只需要几分钟。 原始邮件 发件人: Congxian Qiu<[hidden email]>
> 收件人: user-zh<[hidden email]> 发送时间: 2020年7月28日(周二) 18:09 主题: Re:
> flink 1.11 rest api saveppoint接口 异常 Hi 开启 unalign checkpoint 的情况下，如果有
> checkpoint 正在做的话，那么 savepoint 会等待的[1]，但是把 unaligned checkpoint
> 关闭之后，还有这个现象看上去不太符合预期。关闭之后这种现象出现的时候，也有 checkpoint 正在做吗？ [1]
> https://issues.apache.org/jira/browse/FLINK-17342 Best, Congxian taowang <
> [hidden email]> 于2020年7月28日周二 下午5:05写道： > 在升级了 flink
> 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常： > 在 flink
> 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint >
> 被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint >
> 成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。 > 但是在flink
> 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints >
> 接口正常返回，/jobs/:jobid/savepoints/:triggerid 也返回IN_PROGRESS，但是在flink ui 中看不到 >
> savepoint 被触发，而且/jobs/:jobid/savepoints/:triggerid 一直返回IN_PROGRESS。 >
> 我怀疑这个是不是和我开了 unaligned checkpoint 有关，但是我在 >
> flink-config.yaml中把execution.checkpointing.unaligned设置为false还是会出现这种问题，请问大家有什么了解吗？
> > > > rest api flink docs 链接： >
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/rest_api.html#jobs-jobid-savepoints
> > > > 祝好~

[Congxian Qiu]

Hi
   创建了一个 Issue[1] 来跟进这个问题

[1] https://issues.apache.org/jira/browse/FLINK-18748
Best,
Congxian


Congxian Qiu <[hidden email]> 于2020年7月29日周三 下午1:24写道：

> Hi  taowang
>    感谢你的更新，这个地方应该是 savepoint trigger 的逻辑有问题，现在确实
> setMinPauseBetweenCheckpoints 会影响 savepoint，我创建一个 issue 来跟进一下这个问题
>
> Best,
> Congxian
>
>
> taowang <[hidden email]> 于2020年7月29日周三 下午12:29写道：
>
>> 我再次确认了一下，可能是因为我设置了checkpoint的setMinPauseBetweenCheckpoints，所以在上一次
>> checkpoint 和这个间隔之间触发 savepoint 不会生效，但是接口返回了IN_PROGRESS 的状态，我觉得这里应该是有点问题的。
>>
>>
>>  原始邮件
>> 发件人: taowang<[hidden email]>
>> 收件人: user-zh<[hidden email]>
>> 发送时间: 2020年7月28日(周二) 18:53
>> 主题: Re: flink 1.11 rest api saveppoint接口 异常
>>
>>
>> 是的，其实无论是否开启了unaligned checkpoint，我在调用这个接口的时候都没有 checkpoint 在做。
>> 而且等待的话，我认为如果有正在做的，那么正在做的 checkpoint执行完成之后新的 savepoint
>> 应该会开始执行吧，但我看到的现象是等了半个小时依旧是 IN_PROGRESS状态，正常状态下，一个 checkpoint 的执行时间也就几秒钟，正常的
>> savpoint 执行完成最多也只需要几分钟。 原始邮件 发件人: Congxian Qiu<[hidden email]>
>> 收件人: user-zh<[hidden email]> 发送时间: 2020年7月28日(周二) 18:09 主题:
>> Re: flink 1.11 rest api saveppoint接口 异常 Hi 开启 unalign checkpoint 的情况下，如果有
>> checkpoint 正在做的话，那么 savepoint 会等待的[1]，但是把 unaligned checkpoint
>> 关闭之后，还有这个现象看上去不太符合预期。关闭之后这种现象出现的时候，也有 checkpoint 正在做吗？ [1]
>> https://issues.apache.org/jira/browse/FLINK-17342 Best, Congxian taowang
>> <[hidden email]> 于2020年7月28日周二 下午5:05写道： > 在升级了 flink
>> 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常： > 在 flink
>> 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint >
>> 被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint >
>> 成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。 > 但是在flink
>> 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints >
>> 接口正常返回，/jobs/:jobid/savepoints/:triggerid 也返回IN_PROGRESS，但是在flink ui 中看不到 >
>> savepoint 被触发，而且/jobs/:jobid/savepoints/:triggerid 一直返回IN_PROGRESS。 >
>> 我怀疑这个是不是和我开了 unaligned checkpoint 有关，但是我在 >
>> flink-config.yaml中把execution.checkpointing.unaligned设置为false还是会出现这种问题，请问大家有什么了解吗？
>> > > > rest api flink docs 链接： >
>> https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/rest_api.html#jobs-jobid-savepoints
>> > > > 祝好~
>
>

[taowang]

好哒，我的自动更新逻辑依赖了这个 api，不过现在我用其他方式先处理了。
感谢相应，祝好~


 原始邮件
发件人: Congxian Qiu<[hidden email]>
收件人: user-zh<[hidden email]>
发送时间: 2020年7月29日(周三) 13:34
主题: Re: flink 1.11 rest api saveppoint接口 异常


Hi 创建了一个 Issue[1] 来跟进这个问题 [1] https://issues.apache.org/jira/browse/FLINK-18748 Best, Congxian Congxian Qiu <[hidden email]> 于2020年7月29日周三 下午1:24写道： > Hi taowang > 感谢你的更新，这个地方应该是 savepoint trigger 的逻辑有问题，现在确实 > setMinPauseBetweenCheckpoints 会影响 savepoint，我创建一个 issue 来跟进一下这个问题 > > Best, > Congxian > > > taowang <[hidden email]> 于2020年7月29日周三 下午12:29写道： > >> 我再次确认了一下，可能是因为我设置了checkpoint的setMinPauseBetweenCheckpoints，所以在上一次 >> checkpoint 和这个间隔之间触发 savepoint 不会生效，但是接口返回了IN_PROGRESS 的状态，我觉得这里应该是有点问题的。 >> >> >> 原始邮件 >> 发件人: taowang<[hidden email]> >> 收件人: user-zh<[hidden email]> >> 发送时间: 2020年7月28日(周二) 18:53 >> 主题: Re: flink 1.11 rest api saveppoint接口 异常 >> >> >> 是的，其实无论是否开启了unaligned checkpoint，我在调用这个接口的时候都没有 checkpoint 在做。 >> 而且等待的话，我认为如果有正在做的，那么正在做的 checkpoint执行完成之后新的 savepoint >> 应该会开始执行吧，但我看到的现象是等了半个小时依旧是 IN_PROGRESS状态，正常状态下，一个 checkpoint 的执行时间也就几秒钟，正常的 >> savpoint 执行完成最多也只需要几分钟。 原始邮件 发件人: Congxian Qiu<[hidden email]> >> 收件人: user-zh<[hidden email]> 发送时间: 2020年7月28日(周二) 18:09 主题: >> Re: flink 1.11 rest api saveppoint接口 异常 Hi 开启 unalign checkpoint 的情况下，如果有 >> checkpoint 正在做的话，那么 savepoint 会等待的[1]，但是把 unaligned checkpoint >> 关闭之后，还有这个现象看上去不太符合预期。关闭之后这种现象出现的时候，也有 checkpoint 正在做吗？ [1] >> https://issues.apache.org/jira/browse/FLINK-17342 Best, Congxian taowang >> <[hidden email]> 于2020年7月28日周二 下午5:05写道： > 在升级了 flink >> 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常： > 在 flink >> 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint > >> 被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint > >> 成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。 > 但是在flink >> 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints > >> 接口正常返回，/jobs/:jobid/savepoints/:triggerid 也返回IN_PROGRESS，但是在flink ui 中看不到 > >> savepoint 被触发，而且/jobs/:jobid/savepoints/:triggerid 一直返回IN_PROGRESS。 > >> 我怀疑这个是不是和我开了 unaligned checkpoint 有关，但是我在 > >> flink-config.yaml中把execution.checkpointing.unaligned设置为false还是会出现这种问题，请问大家有什么了解吗？ >> > > > rest api flink docs 链接： > >> https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/rest_api.html#jobs-jobid-savepoints >> > > > 祝好~ > >

[Congxian Qiu]

Hi  taowang
   FLINK-18748 在 Jiar 侧有一些讨论，这个问题修复起来应该会比较简单，你是否有意愿修复这个问题呢？
Best,
Congxian


taowang <[hidden email]> 于2020年7月29日周三 下午3:23写道：

> 好哒，我的自动更新逻辑依赖了这个 api，不过现在我用其他方式先处理了。
> 感谢相应，祝好~
>
>
>  原始邮件
> 发件人: Congxian Qiu<[hidden email]>
> 收件人: user-zh<[hidden email]>
> 发送时间: 2020年7月29日(周三) 13:34
> 主题: Re: flink 1.11 rest api saveppoint接口 异常
>
>
> Hi 创建了一个 Issue[1] 来跟进这个问题 [1]
> https://issues.apache.org/jira/browse/FLINK-18748 Best, Congxian Congxian
> Qiu <[hidden email]> 于2020年7月29日周三 下午1:24写道： > Hi taowang >
> 感谢你的更新，这个地方应该是 savepoint trigger 的逻辑有问题，现在确实 >
> setMinPauseBetweenCheckpoints 会影响 savepoint，我创建一个 issue 来跟进一下这个问题 > > Best,
> > Congxian > > > taowang <[hidden email]> 于2020年7月29日周三 下午12:29写道：
> > >> 我再次确认了一下，可能是因为我设置了checkpoint的setMinPauseBetweenCheckpoints，所以在上一次 >>
> checkpoint 和这个间隔之间触发 savepoint 不会生效，但是接口返回了IN_PROGRESS 的状态，我觉得这里应该是有点问题的。
> >> >> >> 原始邮件 >> 发件人: taowang<[hidden email]> >> 收件人: user-zh<
> [hidden email]> >> 发送时间: 2020年7月28日(周二) 18:53 >> 主题: Re: flink
> 1.11 rest api saveppoint接口 异常 >> >> >> 是的，其实无论是否开启了unaligned
> checkpoint，我在调用这个接口的时候都没有 checkpoint 在做。 >> 而且等待的话，我认为如果有正在做的，那么正在做的
> checkpoint执行完成之后新的 savepoint >> 应该会开始执行吧，但我看到的现象是等了半个小时依旧是
> IN_PROGRESS状态，正常状态下，一个 checkpoint 的执行时间也就几秒钟，正常的 >> savpoint 执行完成最多也只需要几分钟。
> 原始邮件 发件人: Congxian Qiu<[hidden email]> >> 收件人: user-zh<
> [hidden email]> 发送时间: 2020年7月28日(周二) 18:09 主题: >> Re: flink
> 1.11 rest api saveppoint接口 异常 Hi 开启 unalign checkpoint 的情况下，如果有 >>
> checkpoint 正在做的话，那么 savepoint 会等待的[1]，但是把 unaligned checkpoint >>
> 关闭之后，还有这个现象看上去不太符合预期。关闭之后这种现象出现的时候，也有 checkpoint 正在做吗？ [1] >>
> https://issues.apache.org/jira/browse/FLINK-17342 Best, Congxian taowang
> >> <[hidden email]> 于2020年7月28日周二 下午5:05写道： > 在升级了 flink >>
> 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常： > 在 flink >>
> 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint > >>
> 被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint > >>
> 成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。 > 但是在flink >>
> 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints > >>
> 接口正常返回，/jobs/:jobid/savepoints/:triggerid 也返回IN_PROGRESS，但是在flink ui 中看不到 >
> >> savepoint 被触发，而且/jobs/:jobid/savepoints/:triggerid 一直返回IN_PROGRESS。 > >>
> 我怀疑这个是不是和我开了 unaligned checkpoint 有关，但是我在 > >>
> flink-config.yaml中把execution.checkpointing.unaligned设置为false还是会出现这种问题，请问大家有什么了解吗？
> >> > > > rest api flink docs 链接： > >>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/rest_api.html#jobs-jobid-savepoints
> >> > > > 祝好~ > >

[taowang]

好呀好呀~


 原始邮件
发件人: Congxian Qiu<[hidden email]>
收件人: user-zh<[hidden email]>; taowang<[hidden email]>
发送时间: 2020年7月30日(周四) 20:53
主题: Re: flink 1.11 rest api saveppoint接口 异常


Hi taowang FLINK-18748 在 Jiar 侧有一些讨论，这个问题修复起来应该会比较简单，你是否有意愿修复这个问题呢？ Best, Congxian taowang <[hidden email]> 于2020年7月29日周三 下午3:23写道： > 好哒，我的自动更新逻辑依赖了这个 api，不过现在我用其他方式先处理了。 > 感谢相应，祝好~ > > > 原始邮件 > 发件人: Congxian Qiu<[hidden email]> > 收件人: user-zh<[hidden email]> > 发送时间: 2020年7月29日(周三) 13:34 > 主题: Re: flink 1.11 rest api saveppoint接口 异常 > > > Hi 创建了一个 Issue[1] 来跟进这个问题 [1] > https://issues.apache.org/jira/browse/FLINK-18748 Best, Congxian Congxian > Qiu <[hidden email]> 于2020年7月29日周三 下午1:24写道： > Hi taowang > > 感谢你的更新，这个地方应该是 savepoint trigger 的逻辑有问题，现在确实 > > setMinPauseBetweenCheckpoints 会影响 savepoint，我创建一个 issue 来跟进一下这个问题 > > Best, > > Congxian > > > taowang <[hidden email]> 于2020年7月29日周三 下午12:29写道： > > >> 我再次确认了一下，可能是因为我设置了checkpoint的setMinPauseBetweenCheckpoints，所以在上一次 >> > checkpoint 和这个间隔之间触发 savepoint 不会生效，但是接口返回了IN_PROGRESS 的状态，我觉得这里应该是有点问题的。 > >> >> >> 原始邮件 >> 发件人: taowang<[hidden email]> >> 收件人: user-zh< > [hidden email]> >> 发送时间: 2020年7月28日(周二) 18:53 >> 主题: Re: flink > 1.11 rest api saveppoint接口 异常 >> >> >> 是的，其实无论是否开启了unaligned > checkpoint，我在调用这个接口的时候都没有 checkpoint 在做。 >> 而且等待的话，我认为如果有正在做的，那么正在做的 > checkpoint执行完成之后新的 savepoint >> 应该会开始执行吧，但我看到的现象是等了半个小时依旧是 > IN_PROGRESS状态，正常状态下，一个 checkpoint 的执行时间也就几秒钟，正常的 >> savpoint 执行完成最多也只需要几分钟。 > 原始邮件 发件人: Congxian Qiu<[hidden email]> >> 收件人: user-zh< > [hidden email]> 发送时间: 2020年7月28日(周二) 18:09 主题: >> Re: flink > 1.11 rest api saveppoint接口 异常 Hi 开启 unalign checkpoint 的情况下，如果有 >> > checkpoint 正在做的话，那么 savepoint 会等待的[1]，但是把 unaligned checkpoint >> > 关闭之后，还有这个现象看上去不太符合预期。关闭之后这种现象出现的时候，也有 checkpoint 正在做吗？ [1] >> > https://issues.apache.org/jira/browse/FLINK-17342 Best, Congxian taowang > >> <[hidden email]> 于2020年7月28日周二 下午5:05写道： > 在升级了 flink >> > 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常： > 在 flink >> > 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint > >> > 被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint > >> > 成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。 > 但是在flink >> > 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints > >> > 接口正常返回，/jobs/:jobid/savepoints/:triggerid 也返回IN_PROGRESS，但是在flink ui 中看不到 > > >> savepoint 被触发，而且/jobs/:jobid/savepoints/:triggerid 一直返回IN_PROGRESS。 > >> > 我怀疑这个是不是和我开了 unaligned checkpoint 有关，但是我在 > >> > flink-config.yaml中把execution.checkpointing.unaligned设置为false还是会出现这种问题，请问大家有什么了解吗？ > >> > > > rest api flink docs 链接： > >> > https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/rest_api.html#jobs-jobid-savepoints > >> > > > 祝好~ > >

[Congxian Qiu]

Hi  taowang
   你 Jira ID 是啥，我好像找不到你
Best,
Congxian


taowang <[hidden email]> 于2020年7月30日周四 下午8:58写道：

> 好呀好呀~
>
>
>  原始邮件
> 发件人: Congxian Qiu<[hidden email]>
> 收件人: user-zh<[hidden email]>; taowang<[hidden email]>
> 发送时间: 2020年7月30日(周四) 20:53
> 主题: Re: flink 1.11 rest api saveppoint接口 异常
>
>
> Hi taowang FLINK-18748 在 Jiar 侧有一些讨论，这个问题修复起来应该会比较简单，你是否有意愿修复这个问题呢？ Best,
> Congxian taowang <[hidden email]> 于2020年7月29日周三 下午3:23写道： >
> 好哒，我的自动更新逻辑依赖了这个 api，不过现在我用其他方式先处理了。 > 感谢相应，祝好~ > > > 原始邮件 > 发件人: Congxian
> Qiu<[hidden email]> > 收件人: user-zh<[hidden email]> >
> 发送时间: 2020年7月29日(周三) 13:34 > 主题: Re: flink 1.11 rest api saveppoint接口 异常 >
> > > Hi 创建了一个 Issue[1] 来跟进这个问题 [1] >
> https://issues.apache.org/jira/browse/FLINK-18748 Best, Congxian Congxian
> > Qiu <[hidden email]> 于2020年7月29日周三 下午1:24写道： > Hi taowang > >
> 感谢你的更新，这个地方应该是 savepoint trigger 的逻辑有问题，现在确实 > >
> setMinPauseBetweenCheckpoints 会影响 savepoint，我创建一个 issue 来跟进一下这个问题 > > Best,
> > > Congxian > > > taowang <[hidden email]> 于2020年7月29日周三
> 下午12:29写道： > > >>
> 我再次确认了一下，可能是因为我设置了checkpoint的setMinPauseBetweenCheckpoints，所以在上一次 >> >
> checkpoint 和这个间隔之间触发 savepoint 不会生效，但是接口返回了IN_PROGRESS 的状态，我觉得这里应该是有点问题的。 >
> >> >> >> 原始邮件 >> 发件人: taowang<[hidden email]> >> 收件人: user-zh< >
> [hidden email]> >> 发送时间: 2020年7月28日(周二) 18:53 >> 主题: Re: flink
> > 1.11 rest api saveppoint接口 异常 >> >> >> 是的，其实无论是否开启了unaligned >
> checkpoint，我在调用这个接口的时候都没有 checkpoint 在做。 >> 而且等待的话，我认为如果有正在做的，那么正在做的 >
> checkpoint执行完成之后新的 savepoint >> 应该会开始执行吧，但我看到的现象是等了半个小时依旧是 >
> IN_PROGRESS状态，正常状态下，一个 checkpoint 的执行时间也就几秒钟，正常的 >> savpoint 执行完成最多也只需要几分钟。
> > 原始邮件 发件人: Congxian Qiu<[hidden email]> >> 收件人: user-zh< >
> [hidden email]> 发送时间: 2020年7月28日(周二) 18:09 主题: >> Re: flink >
> 1.11 rest api saveppoint接口 异常 Hi 开启 unalign checkpoint 的情况下，如果有 >> >
> checkpoint 正在做的话，那么 savepoint 会等待的[1]，但是把 unaligned checkpoint >> >
> 关闭之后，还有这个现象看上去不太符合预期。关闭之后这种现象出现的时候，也有 checkpoint 正在做吗？ [1] >> >
> https://issues.apache.org/jira/browse/FLINK-17342 Best, Congxian taowang
> > >> <[hidden email]> 于2020年7月28日周二 下午5:05写道： > 在升级了 flink >> >
> 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常： > 在 flink >>
> > 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint > >> >
> 被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint > >> >
> 成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。 > 但是在flink >> >
> 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints > >> >
> 接口正常返回，/jobs/:jobid/savepoints/:triggerid 也返回IN_PROGRESS，但是在flink ui 中看不到 >
> > >> savepoint 被触发，而且/jobs/:jobid/savepoints/:triggerid 一直返回IN_PROGRESS。 >
> >> > 我怀疑这个是不是和我开了 unaligned checkpoint 有关，但是我在 > >> >
> flink-config.yaml中把execution.checkpointing.unaligned设置为false还是会出现这种问题，请问大家有什么了解吗？
> > >> > > > rest api flink docs 链接： > >> >
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/rest_api.html#jobs-jobid-savepoints
> > >> > > > 祝好~ > >