当kafka有大量数据积压并且flink冷启动，flink端读取kafka有没有限流的参数？

[me]

当kafka有大量数据积压并且flink冷启动，flink端读取kafka有没有限流的参数？
kafka积压了2亿数据，flink启动后接着之前的状态读取，怎么控制flink的限流？

[Xiao Xu]

Hi, 据我所知没有限流的功能，最简单的是设置下任务的并行度

me <[hidden email]> 于 2020年9月27日周日 下午5:45写道：

> flink版本1.11
> flink连接kafka使用的是 flink  addSource特性
>
>
>  原始邮件
> 发件人: me<[hidden email]>
> 收件人: user-zh<[hidden email]>
> 发送时间: 2020年9月27日(周日) 17:22
> 主题: 当kafka有大量数据积压并且flink冷启动，flink端读取kafka有没有限流的参数？
>
>
> 当kafka有大量数据积压并且flink冷启动，flink端读取kafka有没有限流的参数？
> kafka积压了2亿数据，flink启动后接着之前的状态读取，怎么控制flink的限流？

[shizk233]

应该是没有的，可以自己改造下kafka source来实现。
话说flink自动反压流控不能满足场景需要吗

me <[hidden email]> 于2020年9月27日周日 下午5:45写道：

> flink版本1.11
> flink连接kafka使用的是 flink  addSource特性
>
>
>  原始邮件
> 发件人: me<[hidden email]>
> 收件人: user-zh<[hidden email]>
> 发送时间: 2020年9月27日(周日) 17:22
> 主题: 当kafka有大量数据积压并且flink冷启动，flink端读取kafka有没有限流的参数？
>
>
> 当kafka有大量数据积压并且flink冷启动，flink端读取kafka有没有限流的参数？
> kafka积压了2亿数据，flink启动后接着之前的状态读取，怎么控制flink的限流？

[hailongwang]

如果使用 代码编写的话，可以调用 FlinkKafkaConsumer010#setRateLimiter，其中可以使用 GuavaFlinkConnectorRateLimiter 类。
目前也有一个相关的issue：https://issues.apache.org/jira/browse/FLINK-17919
祝好
Hailong Wang
在 2020-09-27 16:22:00，"me" <[hidden email]> 写道：
>当kafka有大量数据积压并且flink冷启动，flink端读取kafka有没有限流的参数？
>kafka积压了2亿数据，flink启动后接着之前的状态读取，怎么控制flink的限流？