Re: flink sql confluent schema avro topic注册成表

Posted by Bowen Li on Jan 08, 2020; 12:07am
URL: http://apache-flink.370.s1.nabble.com/flink-sql-confluent-schema-avro-topic-tp1264p1423.html

Hi 陈帅,

这是一个非常合理的需求。我们需要开发一个 Flink ConfluentSchemaRegistryCatalog
完成元数据的获取。社区希望的用户体验是用户只需要给出confluent schema registry的链接，Flink SQL可以通过
ConfluentSchemaRegistryCatalog自动获取读写所需的信息，不再需要用户手动写DDL和format。

社区内部已经开始讨论了，我们应该会在1.11中完成，请关注
https://issues.apache.org/jira/browse/FLINK-12256


On Wed, Dec 18, 2019 at 6:46 AM 陈帅 <[hidden email]> wrote:

> 谢谢回复，有了schema registry url为何还需要填subject和avroSchemaStr呢？
>
> 朱广彬 <[hidden email]> 于2019年12月18日周三 上午10:30写道：
>
> > Hi 陈帅，
> >
> > 目前社区确实不支持confluent schema registry的avro格式，我们内部也是依赖schema registry来做avro
> > schema的管理，所以，我们改动了flink-avro 的源码来支持。
> >
> > 主要涉及到这些地方：
> >
> >
> org.apache.flink.formats.avro.{AvroRowFormatFactory,AvroRowDeserializationSchema,AvroRowSerializationSchema}
> > 和org.apache.flink.table.descriptors.{Avro,AvroValidator}
> >
> > 使用时在构建Avro时指定以下三个参数即可（见标红部分）：
> >
> > tableEnv.connect(
> > new Kafka()
> > .version("universal")
> > .topic(topic)
> > .properties(props)
> > ).withFormat(
> > new Avro()
> >   .useRegistry(true)
> >   .registryUrl(KAFKA_SCHEMA_REGISTRY_URL_ADDRESS)
> >   .registrySubject(subject)
> >   .avroSchema(avroSchemaStr)
> > )
> >
> >
> > 陈帅 <[hidden email]> 于2019年12月18日周三 上午8:26写道：
> > >
> > > flink sql是否能够支持将confluent schema registry注册的一个avro数据格式
> 的topic注册成一张table?
> >
>