sink端处理数据很慢

[田磊]

提交任务后，通过flink的webui界面看，中间的map算子处理速度很快，13万条数据已经处理。但是sink端只处理了几千条数据，这个时候map端的处理也停滞了，不知道什么原因。map并行度8，sink并行度1。之前也是这样的并行度，并没有出现类似的情况。


| |
totorobabyfans
|
|
邮箱：[hidden email]
|

签名由 网易邮箱大师 定制

[Lin Li]

你好，如果之前一直运行正常，建议检查下 sink 节点慢的原因（io 瓶颈、异常/ 节点 gc 之类的），前面的 map
节点应该是被反压导致停滞，可以通过 backpressure tab 确认下

田磊 <[hidden email]> 于2021年6月9日周三 下午10:39写道：

>
> 提交任务后，通过flink的webui界面看，中间的map算子处理速度很快，13万条数据已经处理。但是sink端只处理了几千条数据，这个时候map端的处理也停滞了，不知道什么原因。map并行度8，sink并行度1。之前也是这样的并行度，并没有出现类似的情况。
>
>
> | |
> totorobabyfans
> |
> |
> 邮箱：[hidden email]
> |
>
> 签名由 网易邮箱大师 定制

[田磊]

好的，谢谢，我看看。


| |
totorobabyfans
|
|
邮箱：[hidden email]
|

签名由 网易邮箱大师 定制

在2021年06月10日 10:50，Lin Li 写道：
你好，如果之前一直运行正常，建议检查下 sink 节点慢的原因（io 瓶颈、异常/ 节点 gc 之类的），前面的 map
节点应该是被反压导致停滞，可以通过 backpressure tab 确认下

田磊 <[hidden email]> 于2021年6月9日周三 下午10:39写道：

>
> 提交任务后，通过flink的webui界面看，中间的map算子处理速度很快，13万条数据已经处理。但是sink端只处理了几千条数据，这个时候map端的处理也停滞了，不知道什么原因。map并行度8，sink并行度1。之前也是这样的并行度，并没有出现类似的情况。
>
>
> | |
> totorobabyfans
> |
> |
> 邮箱：[hidden email]
> |
>
> 签名由 网易邮箱大师 定制

[LakeShen]

看下最近是不是流量变大了，以及看下 Sink 的外部存储的集群压力是不是很大。

Best,
LakeShen

田磊 <[hidden email]> 于2021年6月10日周四 上午11:36写道：

> 好的，谢谢，我看看。
>
>
> | |
> totorobabyfans
> |
> |
> 邮箱：[hidden email]
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2021年06月10日 10:50，Lin Li 写道：
> 你好，如果之前一直运行正常，建议检查下 sink 节点慢的原因（io 瓶颈、异常/ 节点 gc 之类的），前面的 map
> 节点应该是被反压导致停滞，可以通过 backpressure tab 确认下
>
> 田磊 <[hidden email]> 于2021年6月9日周三 下午10:39写道：
>
> >
> >
> 提交任务后，通过flink的webui界面看，中间的map算子处理速度很快，13万条数据已经处理。但是sink端只处理了几千条数据，这个时候map端的处理也停滞了，不知道什么原因。map并行度8，sink并行度1。之前也是这样的并行度，并没有出现类似的情况。
> >
> >
> > | |
> > totorobabyfans
> > |
> > |
> > 邮箱：[hidden email]
> > |
> >
> > 签名由 网易邮箱大师 定制
>