pyflink 消费kafka protobuf数据

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

pyflink 消费kafka protobuf数据

stephenlee
hi,各位大佬好:
我是flink新手,我想问一下如何使用pyflink 消费kafka protobuf数据?我试了当做string
读取没有成功,查了下官方的pyflink文档,没有找到相关资料。还望大佬们帮忙看看



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: pyflink 消费kafka protobuf数据

Benchao Li-2
Hi,

Flink暂时还没有内置的protobuf format,社区正在讨论实现一个protobuf format[1],预期在1.12来支持。

目前来讲,你可以考虑自定义一个format,或者直接定义一个没有任何解析直接转发byte[] 数据的format,
然后用UDF来解析。

[1] https://issues.apache.org/jira/browse/FLINK-18202

stephenlee <[hidden email]> 于2020年7月31日周五 下午10:27写道:

> hi,各位大佬好:
> 我是flink新手,我想问一下如何使用pyflink 消费kafka protobuf数据?我试了当做string
> 读取没有成功,查了下官方的pyflink文档,没有找到相关资料。还望大佬们帮忙看看
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/



--

Best,
Benchao Li