flink on yarn容器异常退出

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

flink on yarn容器异常退出

Dream-底限
hi
我正在使用flink1.11.1 on
yarn以分离模式运行任务,但在任务提交的时候,任务在分配完applicationid后,容器经常异常退出,先前以为是yarn环境问题,但是在两个集群测都有遇到这种情况,请问这是一个已知的bug吗
Reply | Threaded
Open this post in threaded view
|

Re: flink on yarn容器异常退出

caozhen

可以发下 "分配完applicationid后,容器经常异常退出"  产生的错误日志吗?

或者排查下flink客户端中的错误日志,以及yarn-historyserver里的日志。

--------

Dream-底限 wrote
> hi
> 我正在使用flink1.11.1 on
> yarn以分离模式运行任务,但在任务提交的时候,任务在分配完applicationid后,容器经常异常退出,先前以为是yarn环境问题,但是在两个集群测都有遇到这种情况,请问这是一个已知的bug吗





--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink on yarn容器异常退出

Congxian Qiu
Hi
    容易异常退出是指 container 退出吗?可以看下 JM/TM log 是否有相应信息,如果没有,可以尝试从 yarn 侧看下日志为什么
container 退出了
Best,
Congxian


caozhen <[hidden email]> 于2020年10月12日周一 下午6:08写道:

>
> 可以发下 "分配完applicationid后,容器经常异常退出"  产生的错误日志吗?
>
> 或者排查下flink客户端中的错误日志,以及yarn-historyserver里的日志。
>
> --------
>
> Dream-底限 wrote
> > hi
> > 我正在使用flink1.11.1 on
> >
> yarn以分离模式运行任务,但在任务提交的时候,任务在分配完applicationid后,容器经常异常退出,先前以为是yarn环境问题,但是在两个集群测都有遇到这种情况,请问这是一个已知的bug吗
>
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink on yarn容器异常退出

Dream-底限
hi
先前我是一个container申请四个core,经常遇到分配完applicationid然后任务处于standby后就挂掉了,现在申请四个container,每个container一个core后正常启动任务了

Congxian Qiu <[hidden email]> 于2020年10月13日周二 下午1:12写道:

> Hi
>     容易异常退出是指 container 退出吗?可以看下 JM/TM log 是否有相应信息,如果没有,可以尝试从 yarn 侧看下日志为什么
> container 退出了
> Best,
> Congxian
>
>
> caozhen <[hidden email]> 于2020年10月12日周一 下午6:08写道:
>
> >
> > 可以发下 "分配完applicationid后,容器经常异常退出"  产生的错误日志吗?
> >
> > 或者排查下flink客户端中的错误日志,以及yarn-historyserver里的日志。
> >
> > --------
> >
> > Dream-底限 wrote
> > > hi
> > > 我正在使用flink1.11.1 on
> > >
> >
> yarn以分离模式运行任务,但在任务提交的时候,任务在分配完applicationid后,容器经常异常退出,先前以为是yarn环境问题,但是在两个集群测都有遇到这种情况,请问这是一个已知的bug吗
> >
> >
> >
> >
> >
> > --
> > Sent from: http://apache-flink.147419.n8.nabble.com/
>
Reply | Threaded
Open this post in threaded view
|

Re:Re: flink on yarn容器异常退出

Michael Ran
看看是不是任务出错,或者内存超了
在 2020-10-13 14:12:08,"Dream-底限" <[hidden email]> 写道:

>hi
>先前我是一个container申请四个core,经常遇到分配完applicationid然后任务处于standby后就挂掉了,现在申请四个container,每个container一个core后正常启动任务了
>
>Congxian Qiu <[hidden email]> 于2020年10月13日周二 下午1:12写道:
>
>> Hi
>>     容易异常退出是指 container 退出吗?可以看下 JM/TM log 是否有相应信息,如果没有,可以尝试从 yarn 侧看下日志为什么
>> container 退出了
>> Best,
>> Congxian
>>
>>
>> caozhen <[hidden email]> 于2020年10月12日周一 下午6:08写道:
>>
>> >
>> > 可以发下 "分配完applicationid后,容器经常异常退出"  产生的错误日志吗?
>> >
>> > 或者排查下flink客户端中的错误日志,以及yarn-historyserver里的日志。
>> >
>> > --------
>> >
>> > Dream-底限 wrote
>> > > hi
>> > > 我正在使用flink1.11.1 on
>> > >
>> >
>> yarn以分离模式运行任务,但在任务提交的时候,任务在分配完applicationid后,容器经常异常退出,先前以为是yarn环境问题,但是在两个集群测都有遇到这种情况,请问这是一个已知的bug吗
>> >
>> >
>> >
>> >
>> >
>> > --
>> > Sent from: http://apache-flink.147419.n8.nabble.com/
>>