flink kafka connector中获取kafka元数据

classic Classic list List threaded Threaded
7 messages Options
Reply | Threaded
Open this post in threaded view
|

flink kafka connector中获取kafka元数据

Dream-底限
hi、
flink table/sql api中,有办法获取kafka元数据吗?

tableEnvironment.sqlUpdate(CREATE TABLE MyUserTable (...) WITH
('connector.type' = 'kafka','connector.version' = '0.11' ,...))
Reply | Threaded
Open this post in threaded view
|

Re: flink kafka connector中获取kafka元数据

Leonard Xu
Hi,
 kafka元数据 是指kafka记录里的 meta数据吗? 比如kafka自带的timestamp,kafka的key信息。
如果是这些信息的话, Table/SQL API 目前还没办法拿到, FLIP-107[1] 会支持这个事情。

祝好,
Leonard Xu

[1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-107%3A+Reading+table+columns+from+different+parts+of+source+records <https://cwiki.apache.org/confluence/display/FLINK/FLIP-107:+Reading+table+columns+from+different+parts+of+source+records>

> 在 2020年7月7日,17:12,Dream-底限 <[hidden email]> 写道:
>
> kafka元数据

Reply | Threaded
Open this post in threaded view
|

Re: flink kafka connector中获取kafka元数据

Dream-底限
hi
是的,想以下面这种方式获取

CREATE TABLE MyUserTable (key string,topic string,....,以及其他的数据字段) WITH
('connector.type' = 'kafka','connector.version' = '0.11' ,...)


On Tue, Jul 7, 2020 at 5:19 PM Leonard Xu <[hidden email]> wrote:

> Hi,
>  kafka元数据 是指kafka记录里的 meta数据吗? 比如kafka自带的timestamp,kafka的key信息。
> 如果是这些信息的话, Table/SQL API 目前还没办法拿到, FLIP-107[1] 会支持这个事情。
>
> 祝好,
> Leonard Xu
>
> [1]
> https://cwiki.apache.org/confluence/display/FLINK/FLIP-107%3A+Reading+table+columns+from+different+parts+of+source+records
> <
> https://cwiki.apache.org/confluence/display/FLINK/FLIP-107:+Reading+table+columns+from+different+parts+of+source+records
> >
>
> > 在 2020年7月7日,17:12,Dream-底限 <[hidden email]> 写道:
> >
> > kafka元数据
>
>
Reply | Threaded
Open this post in threaded view
|

Re: flink kafka connector中获取kafka元数据

Leonard Xu
嗯,这个在FLIP-107里会支持,目前没法拿到这些meta数据,可以关注下FLIP-107的进展。

Best,
Leonard Xu

> 在 2020年7月7日,17:26,Dream-底限 <[hidden email]> 写道:
>
> hi
> 是的,想以下面这种方式获取
>
> CREATE TABLE MyUserTable (key string,topic string,....,以及其他的数据字段) WITH
> ('connector.type' = 'kafka','connector.version' = '0.11' ,...)
>
>
> On Tue, Jul 7, 2020 at 5:19 PM Leonard Xu <[hidden email]> wrote:
>
>> Hi,
>> kafka元数据 是指kafka记录里的 meta数据吗? 比如kafka自带的timestamp,kafka的key信息。
>> 如果是这些信息的话, Table/SQL API 目前还没办法拿到, FLIP-107[1] 会支持这个事情。
>>
>> 祝好,
>> Leonard Xu
>>
>> [1]
>> https://cwiki.apache.org/confluence/display/FLINK/FLIP-107%3A+Reading+table+columns+from+different+parts+of+source+records
>> <
>> https://cwiki.apache.org/confluence/display/FLINK/FLIP-107:+Reading+table+columns+from+different+parts+of+source+records
>>>
>>
>>> 在 2020年7月7日,17:12,Dream-底限 <[hidden email]> 写道:
>>>
>>> kafka元数据
>>
>>

Reply | Threaded
Open this post in threaded view
|

Re: flink kafka connector中获取kafka元数据

Dream-底限
好的

On Tue, Jul 7, 2020 at 5:30 PM Leonard Xu <[hidden email]> wrote:

> 嗯,这个在FLIP-107里会支持,目前没法拿到这些meta数据,可以关注下FLIP-107的进展。
>
> Best,
> Leonard Xu
>
> > 在 2020年7月7日,17:26,Dream-底限 <[hidden email]> 写道:
> >
> > hi
> > 是的,想以下面这种方式获取
> >
> > CREATE TABLE MyUserTable (key string,topic string,....,以及其他的数据字段) WITH
> > ('connector.type' = 'kafka','connector.version' = '0.11' ,...)
> >
> >
> > On Tue, Jul 7, 2020 at 5:19 PM Leonard Xu <[hidden email]> wrote:
> >
> >> Hi,
> >> kafka元数据 是指kafka记录里的 meta数据吗? 比如kafka自带的timestamp,kafka的key信息。
> >> 如果是这些信息的话, Table/SQL API 目前还没办法拿到, FLIP-107[1] 会支持这个事情。
> >>
> >> 祝好,
> >> Leonard Xu
> >>
> >> [1]
> >>
> https://cwiki.apache.org/confluence/display/FLINK/FLIP-107%3A+Reading+table+columns+from+different+parts+of+source+records
> >> <
> >>
> https://cwiki.apache.org/confluence/display/FLINK/FLIP-107:+Reading+table+columns+from+different+parts+of+source+records
> >>>
> >>
> >>> 在 2020年7月7日,17:12,Dream-底限 <[hidden email]> 写道:
> >>>
> >>> kafka元数据
> >>
> >>
>
>
Reply | Threaded
Open this post in threaded view
|

Re: flink kafka connector中获取kafka元数据

Jark
Administrator
Hi,

社区可能打算先支持 timestamp 和 key 的读写,其他 meta 信息(topic, partition, etc..)可能会以后再支持。
你对其他 meta 信息的读取需求大吗? 能具体说说你的业务场景不?感谢!

Best,
Jark



On Tue, 7 Jul 2020 at 17:42, Dream-底限 <[hidden email]> wrote:

> 好的
>
> On Tue, Jul 7, 2020 at 5:30 PM Leonard Xu <[hidden email]> wrote:
>
> > 嗯,这个在FLIP-107里会支持,目前没法拿到这些meta数据,可以关注下FLIP-107的进展。
> >
> > Best,
> > Leonard Xu
> >
> > > 在 2020年7月7日,17:26,Dream-底限 <[hidden email]> 写道:
> > >
> > > hi
> > > 是的,想以下面这种方式获取
> > >
> > > CREATE TABLE MyUserTable (key string,topic string,....,以及其他的数据字段) WITH
> > > ('connector.type' = 'kafka','connector.version' = '0.11' ,...)
> > >
> > >
> > > On Tue, Jul 7, 2020 at 5:19 PM Leonard Xu <[hidden email]> wrote:
> > >
> > >> Hi,
> > >> kafka元数据 是指kafka记录里的 meta数据吗? 比如kafka自带的timestamp,kafka的key信息。
> > >> 如果是这些信息的话, Table/SQL API 目前还没办法拿到, FLIP-107[1] 会支持这个事情。
> > >>
> > >> 祝好,
> > >> Leonard Xu
> > >>
> > >> [1]
> > >>
> >
> https://cwiki.apache.org/confluence/display/FLINK/FLIP-107%3A+Reading+table+columns+from+different+parts+of+source+records
> > >> <
> > >>
> >
> https://cwiki.apache.org/confluence/display/FLINK/FLIP-107:+Reading+table+columns+from+different+parts+of+source+records
> > >>>
> > >>
> > >>> 在 2020年7月7日,17:12,Dream-底限 <[hidden email]> 写道:
> > >>>
> > >>> kafka元数据
> > >>
> > >>
> >
> >
>
Reply | Threaded
Open this post in threaded view
|

Re: flink kafka connector中获取kafka元数据

Dream-底限
hi、
其实我这面对key和timestamp需求不大,而对topic、partition、offset需求大一点,主要有两种场景:
1、根据offset筛选出一组数据的最新值,这个之所以不用时间戳来筛选是因为同一个时间戳可能对应多条数据
2、这个场景有点像kafka数据的备份,在存储端要存储topic、partition、offset元数据信息

On Tue, Jul 7, 2020 at 6:14 PM Jark Wu <[hidden email]> wrote:

> Hi,
>
> 社区可能打算先支持 timestamp 和 key 的读写,其他 meta 信息(topic, partition, etc..)可能会以后再支持。
> 你对其他 meta 信息的读取需求大吗? 能具体说说你的业务场景不?感谢!
>
> Best,
> Jark
>
>
>
> On Tue, 7 Jul 2020 at 17:42, Dream-底限 <[hidden email]> wrote:
>
> > 好的
> >
> > On Tue, Jul 7, 2020 at 5:30 PM Leonard Xu <[hidden email]> wrote:
> >
> > > 嗯,这个在FLIP-107里会支持,目前没法拿到这些meta数据,可以关注下FLIP-107的进展。
> > >
> > > Best,
> > > Leonard Xu
> > >
> > > > 在 2020年7月7日,17:26,Dream-底限 <[hidden email]> 写道:
> > > >
> > > > hi
> > > > 是的,想以下面这种方式获取
> > > >
> > > > CREATE TABLE MyUserTable (key string,topic string,....,以及其他的数据字段)
> WITH
> > > > ('connector.type' = 'kafka','connector.version' = '0.11' ,...)
> > > >
> > > >
> > > > On Tue, Jul 7, 2020 at 5:19 PM Leonard Xu <[hidden email]> wrote:
> > > >
> > > >> Hi,
> > > >> kafka元数据 是指kafka记录里的 meta数据吗? 比如kafka自带的timestamp,kafka的key信息。
> > > >> 如果是这些信息的话, Table/SQL API 目前还没办法拿到, FLIP-107[1] 会支持这个事情。
> > > >>
> > > >> 祝好,
> > > >> Leonard Xu
> > > >>
> > > >> [1]
> > > >>
> > >
> >
> https://cwiki.apache.org/confluence/display/FLINK/FLIP-107%3A+Reading+table+columns+from+different+parts+of+source+records
> > > >> <
> > > >>
> > >
> >
> https://cwiki.apache.org/confluence/display/FLINK/FLIP-107:+Reading+table+columns+from+different+parts+of+source+records
> > > >>>
> > > >>
> > > >>> 在 2020年7月7日,17:12,Dream-底限 <[hidden email]> 写道:
> > > >>>
> > > >>> kafka元数据
> > > >>
> > > >>
> > >
> > >
> >
>