flink connector formats问题

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

flink connector formats问题

酷酷的浑蛋
请问flink可以自定义format吗,目前提供的format必须要进行一次数据过滤为规则数据才行,可不可以自定义format实现自己的数据格式source呢?
目前flink支持的:
| 格式 | 支持的连接器 |
| CSV | Apache Kafka, Filesystem |
| JSON | Apache Kafka, Filesystem, Elasticsearch |
| Apache Avro | Apache Kafka, Filesystem |
| Debezium CDC | Apache Kafka |
| Canal CDC | Apache Kafka |
| Apache Parquet | Filesystem |
| Apache ORC | Filesystem |
Reply | Threaded
Open this post in threaded view
|

回复:flink connector formats问题

Shuai Xia
你好,这个是可以进行自定义的
参考https://jxeditor.github.io/2020/06/11/FlinkSQL%E8%87%AA%E5%AE%9A%E4%B9%89FORMAT_TYPE/


------------------------------------------------------------------
发件人:酷酷的浑蛋 <[hidden email]>
发送时间:2020年7月17日(星期五) 10:42
收件人:user-zh <[hidden email]>
主 题:flink connector formats问题

请问flink可以自定义format吗,目前提供的format必须要进行一次数据过滤为规则数据才行,可不可以自定义format实现自己的数据格式source呢?
目前flink支持的:
| 格式 | 支持的连接器 |
| CSV | Apache Kafka, Filesystem |
| JSON | Apache Kafka, Filesystem, Elasticsearch |
| Apache Avro | Apache Kafka, Filesystem |
| Debezium CDC | Apache Kafka |
| Canal CDC | Apache Kafka |
| Apache Parquet | Filesystem |
| Apache ORC | Filesystem |
Reply | Threaded
Open this post in threaded view
|

回复:flink connector formats问题

酷酷的浑蛋


我看您写了'format.type' = ‘custom',这个custom 是跟哪里关联的呢? 还是说这里要写类路径?


在2020年07月17日 10:47,夏帅<[hidden email]> 写道:
你好,这个是可以进行自定义的
参考https://jxeditor.github.io/2020/06/11/FlinkSQL%E8%87%AA%E5%AE%9A%E4%B9%89FORMAT_TYPE/


------------------------------------------------------------------
发件人:酷酷的浑蛋 <[hidden email]>
发送时间:2020年7月17日(星期五) 10:42
收件人:user-zh <[hidden email]>
主 题:flink connector formats问题

请问flink可以自定义format吗,目前提供的format必须要进行一次数据过滤为规则数据才行,可不可以自定义format实现自己的数据格式source呢?
目前flink支持的:
| 格式 | 支持的连接器 |
| CSV | Apache Kafka, Filesystem |
| JSON | Apache Kafka, Filesystem, Elasticsearch |
| Apache Avro | Apache Kafka, Filesystem |
| Debezium CDC | Apache Kafka |
| Canal CDC | Apache Kafka |
| Apache Parquet | Filesystem |
| Apache ORC | Filesystem |
Reply | Threaded
Open this post in threaded view
|

回复:flink connector formats问题

酷酷的浑蛋
找到了,谢谢


| |
apache22
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2020年07月17日 10:57,酷酷的浑蛋<[hidden email]> 写道:


我看您写了'format.type' = ‘custom',这个custom 是跟哪里关联的呢? 还是说这里要写类路径?


在2020年07月17日 10:47,夏帅<[hidden email]> 写道:
你好,这个是可以进行自定义的
参考https://jxeditor.github.io/2020/06/11/FlinkSQL%E8%87%AA%E5%AE%9A%E4%B9%89FORMAT_TYPE/


------------------------------------------------------------------
发件人:酷酷的浑蛋 <[hidden email]>
发送时间:2020年7月17日(星期五) 10:42
收件人:user-zh <[hidden email]>
主 题:flink connector formats问题

请问flink可以自定义format吗,目前提供的format必须要进行一次数据过滤为规则数据才行,可不可以自定义format实现自己的数据格式source呢?
目前flink支持的:
| 格式 | 支持的连接器 |
| CSV | Apache Kafka, Filesystem |
| JSON | Apache Kafka, Filesystem, Elasticsearch |
| Apache Avro | Apache Kafka, Filesystem |
| Debezium CDC | Apache Kafka |
| Canal CDC | Apache Kafka |
| Apache Parquet | Filesystem |
| Apache ORC | Filesystem |