flink1.11.2检查点失败

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

flink1.11.2检查点失败

Dream-底限
hi、
我这面在使用flink1.11.2做实时特征的时候,状态大小大约在30g左右的时候任务就不能继续运行了,而查看异常日志发现大量的InterruptedException,请问这种情况是集群的问题还是flink的问题,而另一个3G状态的任务依然正常运行
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11.2检查点失败

Dream-底限
补充一下,状态后端选择的是rocksdb,检查点间隔为15分钟,超时时间为5分钟,感觉5分钟超时已经很大了,结果检查点线程还是会被中断,是需要继续调大超时时间吗

zhy <[hidden email]> 于2020年12月18日周五 下午3:57写道:

> hi、
>
> 我这面在使用flink1.11.2做实时特征的时候,状态大小大约在30g左右的时候任务就不能继续运行了,而查看异常日志发现大量的InterruptedException,请问这种情况是集群的问题还是flink的问题,而另一个3G状态的任务依然正常运行
>
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11.2检查点失败

r pp
我觉得补充完整的 故障信息,以及你的资源配置信息,实例代码 可以更好的让别人回答你的问题

zhy <[hidden email]> 于2020年12月18日周五 下午4:07写道:

>
> 补充一下,状态后端选择的是rocksdb,检查点间隔为15分钟,超时时间为5分钟,感觉5分钟超时已经很大了,结果检查点线程还是会被中断,是需要继续调大超时时间吗
>
> zhy <[hidden email]> 于2020年12月18日周五 下午3:57写道:
>
> > hi、
> >
> >
> 我这面在使用flink1.11.2做实时特征的时候,状态大小大约在30g左右的时候任务就不能继续运行了,而查看异常日志发现大量的InterruptedException,请问这种情况是集群的问题还是flink的问题,而另一个3G状态的任务依然正常运行
> >
>
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11.2检查点失败

nobleyd
问下,你使用的yarn集群还是standalone集群。其次多大规模的资源。
我这边之前尝试使用RocksDB,会反压很严重。目前来看file方式性能比RocksDB高很多会。

r pp <[hidden email]> 于2020年12月19日周六 下午3:35写道:

> 我觉得补充完整的 故障信息,以及你的资源配置信息,实例代码 可以更好的让别人回答你的问题
>
> zhy <[hidden email]> 于2020年12月18日周五 下午4:07写道:
>
> >
> >
> 补充一下,状态后端选择的是rocksdb,检查点间隔为15分钟,超时时间为5分钟,感觉5分钟超时已经很大了,结果检查点线程还是会被中断,是需要继续调大超时时间吗
> >
> > zhy <[hidden email]> 于2020年12月18日周五 下午3:57写道:
> >
> > > hi、
> > >
> > >
> >
> 我这面在使用flink1.11.2做实时特征的时候,状态大小大约在30g左右的时候任务就不能继续运行了,而查看异常日志发现大量的InterruptedException,请问这种情况是集群的问题还是flink的问题,而另一个3G状态的任务依然正常运行
> > >
> >
>