flink反压问题求助

[Junzhong Qin]

在跑Flink任务时，遇到了operator反压问题，任务执行图如下，source(读Kafka), KeyBy(抽取数据字段供keyBy操作使用)，Parser(业务处理逻辑)，Sink(写Kafka)，除了KeyBy->Parser使用hash(KeyBy操作)链接，其他都使用RESCALE链接。(并发度仅供参考，这个是解决问题后的并发度，最初的并发度为  500->1000->3000->500)

相关metric

为了解决反压问题做的处理：

1. 增大Parse并发，KeyByOpe.buffers.outPoolUsage 上升速率有减缓，多次加并发依然没有解决

2. 优化Parse逻辑，减少CPU使用，效果不明显

3. 将Parse里的一些数据过滤逻辑移到KeyBy operator里面，效果不明显

最后猜测可能是KeyBy operator并发大和Parse链接hash操作占用NetWork资源过多导致反压，于是减少KeBy operator的并发度，发现解决问题。但是想请教一下这个操作解决这个问题的具体原因。

谢谢！

[LakeShen]

Hi Junzhong ，

图片没有显示,能否把图片重新上传一下。

Best,
LakeShen

Junzhong Qin <[hidden email]> 于2020年4月11日周六 上午10:38写道：

> 在跑Flink任务时，遇到了operator反压问题，任务执行图如下，source(读Kafka),
> KeyBy(抽取数据字段供keyBy操作使用)，Parser(业务处理逻辑)，Sink(写Kafka)，除了KeyBy->Parser使用hash(KeyBy操作)链接，其他都使用RESCALE链接。(并发度仅供参考，这个是解决问题后的并发度，最初的并发度为
> 500->1000->3000->500)
> [image: image.png]
> 相关metric
> [image: image.png]
> [image: image.png]
> 为了解决反压问题做的处理：
> 1. 增大Parse并发，KeyByOpe.buffers.outPoolUsage 上升速率有减缓，多次加并发依然没有解决
> 2. 优化Parse逻辑，减少CPU使用，效果不明显
> 3. 将Parse里的一些数据过滤逻辑移到KeyBy operator里面，效果不明显
> 最后猜测可能是KeyBy operator并发大和Parse链接hash操作占用NetWork资源过多导致反压，于是减少KeBy
> operator的并发度，发现解决问题。但是想请教一下这个操作解决这个问题的具体原因。
>
> 谢谢！
>

[Junzhong Qin]

Hi, LakeShen

图太大了，回复的邮件没有投递成功，图加到附件了。

补充一下任务信息，目前此任务使用的是Flink-1.5。

LakeShen <[hidden email]> 于2020年4月13日周一 上午10:15写道：

Hi Junzhong ，

图片没有显示,能否把图片重新上传一下。

Best,
LakeShen

Junzhong Qin <[hidden email]> 于2020年4月11日周六 上午10:38写道：

> 在跑Flink任务时，遇到了operator反压问题，任务执行图如下，source(读Kafka),
> KeyBy(抽取数据字段供keyBy操作使用)，Parser(业务处理逻辑)，Sink(写Kafka)，除了KeyBy->Parser使用hash(KeyBy操作)链接，其他都使用RESCALE链接。(并发度仅供参考，这个是解决问题后的并发度，最初的并发度为
> 500->1000->3000->500)
> [image: image.png]
> 相关metric
> [image: image.png]
> [image: image.png]
> 为了解决反压问题做的处理：
> 1. 增大Parse并发，KeyByOpe.buffers.outPoolUsage 上升速率有减缓，多次加并发依然没有解决
> 2. 优化Parse逻辑，减少CPU使用，效果不明显
> 3. 将Parse里的一些数据过滤逻辑移到KeyBy operator里面，效果不明显
> 最后猜测可能是KeyBy operator并发大和Parse链接hash操作占用NetWork资源过多导致反压，于是减少KeBy
> operator的并发度，发现解决问题。但是想请教一下这个操作解决这个问题的具体原因。
>
> 谢谢！
>