flinksql指定kafka多topic

[奔跑的小飞袁]

hello，
我想问一下目前flinksql支持同时指定kafka的多topic吗，例如
'topic'='cloud_behavior,cloud_behavior_other,cloud_behavior_qxb,cloud_behavior_cc,cloud_behavior_cs'



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Shuai Xia]

Hi，可以试试用topic-pattern


------------------------------------------------------------------
发件人：奔跑的小飞袁 <[hidden email]>
发送时间：2020年10月26日(星期一) 14:08
收件人：user-zh <[hidden email]>
主　题：flinksql指定kafka多topic

hello，
我想问一下目前flinksql支持同时指定kafka的多topic吗，例如
'topic'='cloud_behavior,cloud_behavior_other,cloud_behavior_qxb,cloud_behavior_cc,cloud_behavior_cs'



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[奔跑的小飞袁]

有没有一种更加友好的方式  使用topic-pattern的话在提供给非开发人员使用成本太高



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Shuai Xia]

目前应该没有直接可以使用的方式，但是可以通过重写KafkaDynamicTableFactory来实现你要的结果，不知道社区在之后有没有考虑加上topic-separator


------------------------------------------------------------------
发件人：奔跑的小飞袁 <[hidden email]>
发送时间：2020年10月26日(星期一) 14:23
收件人：user-zh <[hidden email]>
主　题：Re: 回复：flinksql指定kafka多topic

有没有一种更加友好的方式  使用topic-pattern的话在提供给非开发人员使用成本太高



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[奔跑的小飞袁]

好的 那我尝试下通过KafkaDynamicTableFactory来实现



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Shuai Xia]

现在就可以使用，刚查了一下，你可以参考下ShengKai的
The config option `topic` and `topic-pattern` specifies the topics or topic pattern to consume for source. The config option `topic` can accept topic list using semicolon separator like 'topic-1;topic-2'.


------------------------------------------------------------------
发件人：奔跑的小飞袁 <[hidden email]>
发送时间：2020年10月26日(星期一) 14:31
收件人：user-zh <[hidden email]>
主　题：Re: 回复：回复：flinksql指定kafka多topic

好的 那我尝试下通过KafkaDynamicTableFactory来实现



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[奔跑的小飞袁]

with (
    'connector'='kafka',
 
'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs',
    'properties.bootstrap.servers'='',
    'properties.group.id'='flink_2_hive_and_imei_ncrypy_test',
    'format'='avro',
    'scan.startup.mode'='group-offsets'
);

这是我的配置，但是在执行的时候失败了，我想知道目前支持的flinksql版本是哪个



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[hailongwang]

Hi s_hongliang,
 目前的 Master 分支(1.12) 版本支持一个 source 指定消费多个 topics。
 相关issue见：https://issues.apache.org/jira/browse/FLINK-18449

目前你可以拆成多个 Source 消费。




Best,
Hailong Wang




在 2020-10-26 13:54:40，"奔跑的小飞袁" <[hidden email]> 写道：

>with (
>    'connector'='kafka',
>  
>'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs',
>    'properties.bootstrap.servers'='',
>    'properties.group.id'='flink_2_hive_and_imei_ncrypy_test',
>    'format'='avro',
>    'scan.startup.mode'='group-offsets'
>);
>
>这是我的配置，但是在执行的时候失败了，我想知道目前支持的flinksql版本是哪个
>
>
>
>--
>Sent from: http://apache-flink.147419.n8.nabble.com/

[nobleyd]

这个问题现在应该还是无解的吧。那个topic-pattern看了下文档也不存在还，1.11不支持对吗？

hailongwang <[hidden email]> 于2020年10月26日周一 下午8:37写道：

> Hi s_hongliang,
>  目前的 Master 分支(1.12) 版本支持一个 source 指定消费多个 topics。
>  相关issue见：https://issues.apache.org/jira/browse/FLINK-18449
>
> 目前你可以拆成多个 Source 消费。
>
>
>
>
> Best,
> Hailong Wang
>
>
>
>
> 在 2020-10-26 13:54:40，"奔跑的小飞袁" <[hidden email]> 写道：
> >with (
> >    'connector'='kafka',
> >
>
> >'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs',
> >    'properties.bootstrap.servers'='',
> >    'properties.group.id'='flink_2_hive_and_imei_ncrypy_test',
> >    'format'='avro',
> >    'scan.startup.mode'='group-offsets'
> >);
> >
> >这是我的配置，但是在执行的时候失败了，我想知道目前支持的flinksql版本是哪个
> >
> >
> >
> >--
> >Sent from: http://apache-flink.147419.n8.nabble.com/
>

[hailongwang]

是的，或者自己可以 cherry-pick 这个 MR，然后编译把。


在 2020-11-18 16:47:59，"赵一旦" <[hidden email]> 写道：

>这个问题现在应该还是无解的吧。那个topic-pattern看了下文档也不存在还，1.11不支持对吗？
>
>hailongwang <[hidden email]> 于2020年10月26日周一 下午8:37写道：
>
>> Hi s_hongliang,
>>  目前的 Master 分支(1.12) 版本支持一个 source 指定消费多个 topics。
>>  相关issue见：https://issues.apache.org/jira/browse/FLINK-18449
>>
>> 目前你可以拆成多个 Source 消费。
>>
>>
>>
>>
>> Best,
>> Hailong Wang
>>
>>
>>
>>
>> 在 2020-10-26 13:54:40，"奔跑的小飞袁" <[hidden email]> 写道：
>> >with (
>> >    'connector'='kafka',
>> >
>>
>> >'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs',
>> >    'properties.bootstrap.servers'='',
>> >    'properties.group.id'='flink_2_hive_and_imei_ncrypy_test',
>> >    'format'='avro',
>> >    'scan.startup.mode'='group-offsets'
>> >);
>> >
>> >这是我的配置，但是在执行的时候失败了，我想知道目前支持的flinksql版本是哪个
>> >
>> >
>> >
>> >--
>> >Sent from: http://apache-flink.147419.n8.nabble.com/
>>