回复:RestClusterClient

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

回复:RestClusterClient

highfei2011
Hisomnussuy,
    Please give us some detail information for this question. Such as “ deploy method “ , “logs" and so on.


Best,
Yang


原始邮件
发件人:[hidden email]
收件人:[hidden email]
发送时间:2019年7月26日(周五) 11:42
主题:RestClusterClient


您好,flink集群关闭的情况下,运行任务会有报错信息 Could not retrieve the execution result,但是在 flink 集群正常运行的情况下,偶然会报 Could not retrieve the execution result,通过查询了解到,flink 通过 RestClusterClient类 将任务提交至 jobmanager,如果 detached 为 false,会采用 CompletableFuture 的 thenCompose 方法,在获取结果时,会有异常的捕获,如下: final CompletableFutureJobResult jobResultFuture = jobSubmissionFuture.thenCompose( ignored - requestJobResult(jobGraph.getJobID())); final JobResult jobResult; try { jobResult = jobResultFuture.get(); } catch (Exception e) { throw new ProgramInvocationException("Could not retrieve the execution result.", jobGraph.getJobID(), ExceptionUtils.stripExecutionException(e)); } 但是,什么原因导致报错,日志中并无明显体现。 希望得到您的帮助: 1. 如果出现该报错,应该在哪里去排查日志。 2. 出现该报错的可能情况有哪些,目前仅有 flink 集群未启动,一定会复现,其他情况偶然出现,频率在 1/50 左右。
Reply | Threaded
Open this post in threaded view
|

Re: 回复:RestClusterClient

rockeycui@163.com
hi,Jeff Yang
    somnussuy 是我同事,他无法收到您的回复邮件,我在这代替他回复。我们的集群部署模式是 Standalone Cluster 和 HA by zookeeper,在任务  Could not retrieve the execution result 异常时,日志文件中并没有相关的堆栈信息。
    希望得到您的帮助: 1. 如果出现该报错,应该在哪里去排查日志。 2. 出现该报错的可能情况有哪些,目前仅有 flink 集群未启动,一定会复现,其他情况偶然出现,频率在 1/50 左右。



[hidden email]
 
发件人: Jeff Yang
发送时间: 2019-07-26 17:50
收件人: user-zh
主题: 回复:RestClusterClient
Hisomnussuy,
    Please give us some detail information for this question. Such as “ deploy method “ , “logs" and so on.
 
 
Best,
Yang
 
 
原始邮件
发件人:[hidden email]
收件人:[hidden email]
发送时间:2019年7月26日(周五) 11:42
主题:RestClusterClient
 
 
您好,flink集群关闭的情况下,运行任务会有报错信息 Could not retrieve the execution result,但是在 flink 集群正常运行的情况下,偶然会报 Could not retrieve the execution result,通过查询了解到,flink 通过 RestClusterClient类 将任务提交至 jobmanager,如果 detached 为 false,会采用 CompletableFuture 的 thenCompose 方法,在获取结果时,会有异常的捕获,如下: final CompletableFutureJobResult jobResultFuture = jobSubmissionFuture.thenCompose( ignored - requestJobResult(jobGraph.getJobID())); final JobResult jobResult; try { jobResult = jobResultFuture.get(); } catch (Exception e) { throw new ProgramInvocationException("Could not retrieve the execution result.", jobGraph.getJobID(), ExceptionUtils.stripExecutionException(e)); } 但是,什么原因导致报错,日志中并无明显体现。 希望得到您的帮助: 1. 如果出现该报错,应该在哪里去排查日志。 2. 出现该报错的可能情况有哪些,目前仅有 flink 集群未启动,一定会复现,其他情况偶然出现,频率在 1/50 左右。
Reply | Threaded
Open this post in threaded view
|

Re: 回复:RestClusterClient

tison
Hi somnussuy & rockey,

能否提供报异常的现象和相关的 log?

我看到你说【没有相关堆栈信息】但是你们是知道这个错误出现的。

仅凭文字不太能理解你们是遇到了什么问题。

Best,
tison.


[hidden email] <[hidden email]> 于2019年7月29日周一 上午9:45写道:

> hi,Jeff Yang
>     somnussuy 是我同事,他无法收到您的回复邮件,我在这代替他回复。我们的集群部署模式是 Standalone Cluster 和 HA
> by zookeeper,在任务  Could not retrieve the execution result
> 异常时,日志文件中并没有相关的堆栈信息。
>     希望得到您的帮助: 1. 如果出现该报错,应该在哪里去排查日志。 2. 出现该报错的可能情况有哪些,目前仅有 flink
> 集群未启动,一定会复现,其他情况偶然出现,频率在 1/50 左右。
>
>
>
> [hidden email]
>
> 发件人: Jeff Yang
> 发送时间: 2019-07-26 17:50
> 收件人: user-zh
> 主题: 回复:RestClusterClient
> Hisomnussuy,
>     Please give us some detail information for this question. Such as “
> deploy method “ , “logs" and so on.
>
>
> Best,
> Yang
>
>
> 原始邮件
> 发件人:[hidden email]
> 收件人:[hidden email]
> 发送时间:2019年7月26日(周五) 11:42
> 主题:RestClusterClient
>
>
> 您好,flink集群关闭的情况下,运行任务会有报错信息 Could not retrieve the execution result,但是在
> flink 集群正常运行的情况下,偶然会报 Could not retrieve the execution result,通过查询了解到,flink
> 通过 RestClusterClient类 将任务提交至 jobmanager,如果 detached 为 false,会采用
> CompletableFuture 的 thenCompose 方法,在获取结果时,会有异常的捕获,如下: final
> CompletableFutureJobResult jobResultFuture =
> jobSubmissionFuture.thenCompose( ignored -
> requestJobResult(jobGraph.getJobID())); final JobResult jobResult; try {
> jobResult = jobResultFuture.get(); } catch (Exception e) { throw new
> ProgramInvocationException("Could not retrieve the execution result.",
> jobGraph.getJobID(), ExceptionUtils.stripExecutionException(e)); }
> 但是,什么原因导致报错,日志中并无明显体现。 希望得到您的帮助: 1. 如果出现该报错,应该在哪里去排查日志。 2.
> 出现该报错的可能情况有哪些,目前仅有 flink 集群未启动,一定会复现,其他情况偶然出现,频率在 1/50 左右。
>
Reply | Threaded
Open this post in threaded view
|

Re: Re:RestClusterClient

somnussuy
hi,感谢您的关注,flink 未运行,或者 页面显示 正在选取 leader ,均会必现这个报错。
代码内是 catch JobExecutionException,使用log4j 打印cause。
在flink-cirrostream-client-xxx.log中, job准备阶段正常运行,日志打印到
org.apache.flink.client.program.rest.RestClusterClient        - Submitting job 8247fbfadfdad4fb81dc958ff066bd94 (detached: false).
然后:
大概 10s 之后就会打印日志  Could not retrieve the execution result。

也尝试添加打印错误栈,但是没有在日志中找到相关信息。


[hidden email]
 
发件人: Zili Chen
发送时间: 2019-07-29 10:07
收件人: user-zh
主题: Re: 回复:RestClusterClient
Hi somnussuy & rockey,
 
能否提供报异常的现象和相关的 log?
 
我看到你说【没有相关堆栈信息】但是你们是知道这个错误出现的。
 
仅凭文字不太能理解你们是遇到了什么问题。
 
Best,
tison.
 
 
[hidden email] <[hidden email]> 于2019年7月29日周一 上午9:45写道:
 

> hi,Jeff Yang
>     somnussuy 是我同事,他无法收到您的回复邮件,我在这代替他回复。我们的集群部署模式是 Standalone Cluster 和 HA
> by zookeeper,在任务  Could not retrieve the execution result
> 异常时,日志文件中并没有相关的堆栈信息。
>     希望得到您的帮助: 1. 如果出现该报错,应该在哪里去排查日志。 2. 出现该报错的可能情况有哪些,目前仅有 flink
> 集群未启动,一定会复现,其他情况偶然出现,频率在 1/50 左右。
>
>
>
> [hidden email]
>
> 发件人: Jeff Yang
> 发送时间: 2019-07-26 17:50
> 收件人: user-zh
> 主题: 回复:RestClusterClient
> Hisomnussuy,
>     Please give us some detail information for this question. Such as “
> deploy method “ , “logs" and so on.
>
>
> Best,
> Yang
>
>
> 原始邮件
> 发件人:[hidden email]
> 收件人:[hidden email]
> 发送时间:2019年7月26日(周五) 11:42
> 主题:RestClusterClient
>
>
> 您好,flink集群关闭的情况下,运行任务会有报错信息 Could not retrieve the execution result,但是在
> flink 集群正常运行的情况下,偶然会报 Could not retrieve the execution result,通过查询了解到,flink
> 通过 RestClusterClient类 将任务提交至 jobmanager,如果 detached 为 false,会采用
> CompletableFuture 的 thenCompose 方法,在获取结果时,会有异常的捕获,如下: final
> CompletableFutureJobResult jobResultFuture =
> jobSubmissionFuture.thenCompose( ignored -
> requestJobResult(jobGraph.getJobID())); final JobResult jobResult; try {
> jobResult = jobResultFuture.get(); } catch (Exception e) { throw new
> ProgramInvocationException("Could not retrieve the execution result.",
> jobGraph.getJobID(), ExceptionUtils.stripExecutionException(e)); }
> 但是,什么原因导致报错,日志中并无明显体现。 希望得到您的帮助: 1. 如果出现该报错,应该在哪里去排查日志。 2.
> 出现该报错的可能情况有哪些,目前仅有 flink 集群未启动,一定会复现,其他情况偶然出现,频率在 1/50 左右。
>