Jobmanager重启,cannot set up a jobmanager

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

Jobmanager重启,cannot set up a jobmanager

绘梦飘雪
jobmanager重启时会org.apache.flink.runtime.client.jobexecutionexception could not set up jobmanager
cannot set up the user code libraries file does not exist /flink/recovery/appid/blob/job***
到hdfs上看,果然对应文件不存在,请问这个是什么原因造成的



Reply | Threaded
Open this post in threaded view
|

Re: Jobmanager重启,cannot set up a jobmanager

Yang Wang
HA storage除非任务结束或者失败,Flink自己是不会去清理的。在JM failover
的时候会从HDFS上面拉回来

是不是外部的系统把HA storage里面的内容清理了呢


Best,
Yang

绘梦飘雪 <[hidden email]> 于2020年6月23日周二 下午12:50写道:

> jobmanager重启时会org.apache.flink.runtime.client.jobexecutionexception could
> not set up jobmanager
> cannot set up the user code libraries file does not exist
> /flink/recovery/appid/blob/job***
> 到hdfs上看,果然对应文件不存在,请问这个是什么原因造成的
>
>
>
>
Reply | Threaded
Open this post in threaded view
|

回复:Jobmanager重启,cannot set up a jobmanager

绘梦飘雪
hdfs上 ha storage 目录还在,但里的文件没了,作业占用的资源还在并没有释放,访问flinkui 报service temporarily unavailable due to an ongoing leader election



---原始邮件---
发件人: "Yang Wang"<[hidden email]&gt;
发送时间: 2020年6月23日(周二) 下午3:37
收件人: "user-zh"<[hidden email]&gt;;
主题: Re: Jobmanager重启,cannot set up a jobmanager


HA storage除非任务结束或者失败,Flink自己是不会去清理的。在JM failover
的时候会从HDFS上面拉回来

是不是外部的系统把HA storage里面的内容清理了呢


Best,
Yang

绘梦飘雪 <[hidden email]&gt; 于2020年6月23日周二 下午12:50写道:

&gt; jobmanager重启时会org.apache.flink.runtime.client.jobexecutionexception could
&gt; not set up jobmanager
&gt; cannot set up the user code libraries file does not exist
&gt; /flink/recovery/appid/blob/job***
&gt; 到hdfs上看,果然对应文件不存在,请问这个是什么原因造成的
&gt;
&gt;
&gt;
&gt;
Reply | Threaded
Open this post in threaded view
|

Re: Jobmanager重启,cannot set up a jobmanager

Yang Wang
"service temporarily unavailable due to an ongoing leader election"
只是说明rest server leader还没有
选出来,是正常的

你把失败的JM以及新的JM log发出来吧,这样方便看到是不是Flink自己去清理的



Best,
Yang

绘梦飘雪 <[hidden email]> 于2020年6月23日周二 下午4:28写道:

> hdfs上 ha storage 目录还在,但里的文件没了,作业占用的资源还在并没有释放,访问flinkui 报service
> temporarily unavailable due to an ongoing leader election
>
>
>
> ---原始邮件---
> 发件人: "Yang Wang"<[hidden email]&gt;
> 发送时间: 2020年6月23日(周二) 下午3:37
> 收件人: "user-zh"<[hidden email]&gt;;
> 主题: Re: Jobmanager重启,cannot set up a jobmanager
>
>
> HA storage除非任务结束或者失败,Flink自己是不会去清理的。在JM failover
> 的时候会从HDFS上面拉回来
>
> 是不是外部的系统把HA storage里面的内容清理了呢
>
>
> Best,
> Yang
>
> 绘梦飘雪 <[hidden email]&gt; 于2020年6月23日周二 下午12:50写道:
>
> &gt; jobmanager重启时会org.apache.flink.runtime.client.jobexecutionexception
> could
> &gt; not set up jobmanager
> &gt; cannot set up the user code libraries file does not exist
> &gt; /flink/recovery/appid/blob/job***
> &gt; 到hdfs上看,果然对应文件不存在,请问这个是什么原因造成的
> &gt;
> &gt;
> &gt;
> &gt;