flink sql读kafka元数据问题

classic Classic list List threaded Threaded
9 messages Options
Reply | Threaded
Open this post in threaded view
|

flink sql读kafka元数据问题

酷酷的浑蛋
WITH("`event_time` TIMESTAMP(3) METADATA FROM 'timestamp'," +
"`partition` BIGINT METADATA VIRTUAL," +
"`offset` BIGINT METADATA VIRTUAL," +
"`headers` MAP<STRING, BYTES> NOT NULL METADATA VIRTUAL,”+
在这里获取kakfa元数据时,官网没有说怎么获取kafka消息的key?,headers的信息是空的,请问怎么在flink sql中获取kafka消息key?



Reply | Threaded
Open this post in threaded view
|

Re: flink sql读kafka元数据问题

JasonLee
hi

你写入数据的时候设置 headers 了吗 没设置的话当然是空的了



-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Best Wishes
JasonLee
Reply | Threaded
Open this post in threaded view
|

Re: flink sql读kafka元数据问题

Jark
Administrator
kafka 读 key fields:
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/kafka.html#key-fields

On Wed, 13 Jan 2021 at 15:18, JasonLee <[hidden email]> wrote:

> hi
>
> 你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
>
>
>
> -----
> Best Wishes
> JasonLee
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
Reply | Threaded
Open this post in threaded view
|

回复: flink sql读kafka元数据问题

酷酷的浑蛋
In reply to this post by JasonLee
你意思是说,topic不是flink写入的,用flink sql就不能读到key?




在2021年01月13日 15:18,JasonLee<[hidden email]> 写道:
hi

你写入数据的时候设置 headers 了吗 没设置的话当然是空的了



-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

回复: flink sql读kafka元数据问题

酷酷的浑蛋






在2021年01月14日 16:03,酷酷的浑蛋<[hidden email]> 写道:
你意思是说,topic不是flink写入的,用flink sql就不能读到key?




在2021年01月13日 15:18,JasonLee<[hidden email]> 写道:
hi

你写入数据的时候设置 headers 了吗 没设置的话当然是空的了



-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

回复: flink sql读kafka元数据问题

酷酷的浑蛋
In reply to this post by Jark
官网没说在哪里读key啊




在2021年01月14日 14:52,Jark Wu<[hidden email]> 写道:
kafka 读 key fields:
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/kafka.html#key-fields

On Wed, 13 Jan 2021 at 15:18, JasonLee <[hidden email]> wrote:

hi

你写入数据的时候设置 headers 了吗 没设置的话当然是空的了



-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/

Reply | Threaded
Open this post in threaded view
|

Re: 回复: flink sql读kafka元数据问题

JasonLee
In reply to this post by 酷酷的浑蛋
hi

通过 headers 这种方式是可以获取到的 jark 大佬说的那种方式我还没有测试



-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Best Wishes
JasonLee
Reply | Threaded
Open this post in threaded view
|

回复: flink sql读kafka元数据问题

酷酷的浑蛋
In reply to this post by 酷酷的浑蛋
直接读topic,headers是空,我仅仅是想读key,不管topic是谁写入的




在2021年01月14日 16:03,酷酷的浑蛋<[hidden email]> 写道:
你意思是说,topic不是flink写入的,用flink sql就不能读到key?




在2021年01月13日 15:18,JasonLee<[hidden email]> 写道:
hi

你写入数据的时候设置 headers 了吗 没设置的话当然是空的了



-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: 回复: flink sql读kafka元数据问题

Evan
我知道 酷酷同学 啥意思,kafka 消息是key,value形式,当然这个key默认是null,他想在 select 语句里将 kafka的key值读出来对吧。

我也在文档里找了,确实是没有相关文档说明



 
发件人: 酷酷的浑蛋
发送时间: 2021-01-15 16:35
收件人: [hidden email]
主题: 回复: flink sql读kafka元数据问题
直接读topic,headers是空,我仅仅是想读key,不管topic是谁写入的
 
 
 
 
在2021年01月14日 16:03,酷酷的浑蛋<[hidden email]> 写道:
你意思是说,topic不是flink写入的,用flink sql就不能读到key?
 
 
 
 
在2021年01月13日 15:18,JasonLee<[hidden email]> 写道:
hi
 
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
 
 
 
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/