消费kafka source反压

[smq]

大家好，在测试flink消费速率时，发现数据处理比较慢，大概一个task每秒处理1000条左右，经过查看UI界面，发现读取kafka数据源这块source反压达到1，请问有这方面经验吗？

[Benchao Li-2]

这种反压一般是下游反压过来的，可以检查下最后一个反压的算子，那个才是处理能力的瓶颈。

smq <[hidden email]> 于2020年9月21日周一 下午2:08写道：

>
> 大家好，在测试flink消费速率时，发现数据处理比较慢，大概一个task每秒处理1000条左右，经过查看UI界面，发现读取kafka数据源这块source反压达到1，请问有这方面经验吗？



--

Best,
Benchao Li

[smq]

谢谢，多问一句，并行度为1的话，keyby算子加上keydstate对性能影响大吗



---原始邮件---
发件人: "Benchao Li"<[hidden email]&gt;
发送时间: 2020年9月21日(周一) 下午4:39
收件人: "user-zh"<[hidden email]&gt;;
主题: Re: 消费kafka source反压


这种反压一般是下游反压过来的，可以检查下最后一个反压的算子，那个才是处理能力的瓶颈。

smq <[hidden email]&gt; 于2020年9月21日周一 下午2:08写道：

&gt;
&gt; 大家好，在测试flink消费速率时，发现数据处理比较慢，大概一个task每秒处理1000条左右，经过查看UI界面，发现读取kafka数据源这块source反压达到1，请问有这方面经验吗？



--

Best,
Benchao Li

[Benchao Li-2]

这个性能影响指的是跟那种情况进行对比呢？

smq <[hidden email]> 于2020年9月21日周一 下午6:49写道：

> 谢谢，多问一句，并行度为1的话，keyby算子加上keydstate对性能影响大吗
>
>
>
> ---原始邮件---
> 发件人: "Benchao Li"<[hidden email]&gt;
> 发送时间: 2020年9月21日(周一) 下午4:39
> 收件人: "user-zh"<[hidden email]&gt;;
> 主题: Re: 消费kafka source反压
>
>
> 这种反压一般是下游反压过来的，可以检查下最后一个反压的算子，那个才是处理能力的瓶颈。
>
> smq <[hidden email]&gt; 于2020年9月21日周一 下午2:08写道：
>
> &gt;
> &gt;
> 大家好，在测试flink消费速率时，发现数据处理比较慢，大概一个task每秒处理1000条左右，经过查看UI界面，发现读取kafka数据源这块source反压达到1，请问有这方面经验吗？
>
>
>
> --
>
> Best,
> Benchao Li

--

Best,
Benchao Li