Flink 1.11 SQL可以支持kafka动态分区发现么?

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink 1.11 SQL可以支持kafka动态分区发现么?

sunfulin

hi,
各位大神,请教下,1.11的sql作业,如何能实现动态分区发现呐?我在1.12的文档里发现有个参数可以设置,但是1.11的版本里貌似没有。想确认下能否支持?




--
发自我的网易邮箱手机智能版
Reply | Threaded
Open this post in threaded view
|

回复:Flink 1.11 SQL可以支持kafka动态分区发现么?

Shuai Xia
Hi,看下FlinkKafkaConsumerBase内有没有使用,有的话就是支持的


------------------------------------------------------------------
发件人:sunfulin <[hidden email]>
发送时间:2021年1月20日(星期三) 14:40
收件人:user-zh <[hidden email]>
主 题:Flink 1.11 SQL可以支持kafka动态分区发现么?


hi,
各位大神,请教下,1.11的sql作业,如何能实现动态分区发现呐?我在1.12的文档里发现有个参数可以设置,但是1.11的版本里貌似没有。想确认下能否支持?




--
发自我的网易邮箱手机智能版
Reply | Threaded
Open this post in threaded view
|

Re:回复:Flink 1.11 SQL可以支持kafka动态分区发现么?

sunfulin

我看下这个源码,貌似是有这个参数。还不确定SQL ddl里配置会不会生效,回头验证下。




--
发自我的网易邮箱手机智能版
<br/><br/><br/>


----- Original Message -----
From: "Shuai Xia" <[hidden email]>
To: user-zh <[hidden email]>, sunfulin0321 <[hidden email]>
Sent: Wed, 20 Jan 2021 14:42:36 +0800
Subject: 回复:Flink 1.11 SQL可以支持kafka动态分区发现么?

Hi,看下FlinkKafkaConsumerBase内有没有使用,有的话就是支持的


------------------------------------------------------------------
发件人:sunfulin <[hidden email]>
发送时间:2021年1月20日(星期三) 14:40
收件人:user-zh <[hidden email]>
主 题:Flink 1.11 SQL可以支持kafka动态分区发现么?


hi,
各位大神,请教下,1.11的sql作业,如何能实现动态分区发现呐?我在1.12的文档里发现有个参数可以设置,但是1.11的版本里貌似没有。想确认下能否支持?




--
发自我的网易邮箱手机智能版
Reply | Threaded
Open this post in threaded view
|

Re: 回复:Flink 1.11 SQL可以支持kafka动态分区发现么?

zhisheng
1.11 文档里面没有,那么估计就不支持了,可以看下 1.12 如何实现的,然后把这个 patch 打在内部自己的 flink 版本里面

sunfulin <[hidden email]> 于2021年1月20日周三 下午2:53写道:

>
> 我看下这个源码,貌似是有这个参数。还不确定SQL ddl里配置会不会生效,回头验证下。
>
>
>
>
> --
> 发自我的网易邮箱手机智能版
> <br/><br/><br/>
>
>
> ----- Original Message -----
> From: "Shuai Xia" <[hidden email]>
> To: user-zh <[hidden email]>, sunfulin0321 <[hidden email]
> >
> Sent: Wed, 20 Jan 2021 14:42:36 +0800
> Subject: 回复:Flink 1.11 SQL可以支持kafka动态分区发现么?
>
> Hi,看下FlinkKafkaConsumerBase内有没有使用,有的话就是支持的
>
>
> ------------------------------------------------------------------
> 发件人:sunfulin <[hidden email]>
> 发送时间:2021年1月20日(星期三) 14:40
> 收件人:user-zh <[hidden email]>
> 主 题:Flink 1.11 SQL可以支持kafka动态分区发现么?
>
>
> hi,
>
> 各位大神,请教下,1.11的sql作业,如何能实现动态分区发现呐?我在1.12的文档里发现有个参数可以设置,但是1.11的版本里貌似没有。想确认下能否支持?
>
>
>
>
> --
> 发自我的网易邮箱手机智能版