|
Hi 开发者好:
目前有此场景:
业务已经有埋点上报的数据在kafka ,现在想使用对应的kafka数据 转换成 table, 由于这个 kafka的数据格式不是json格式,所以没法直接使用 flink-sql 的kafka-connector 用sql DDL的方式建kafka 表;
现在在尝试对kafka的数据做一次 map转换,返回 json格式,然后再基于此json格式 创建 kafka 流表
但是这种做法好像无法把表的元数据持久化,即在其他session无法读取到建的这个表;
是否有对应的方法,通过对kafka流做一定转换 ,然后再转换成 可以持久化到对应 catalog 上的 kafka 表呢
或者是否可以使用 flink-sql 的kafka-connector ,然后把kafka的数据做一定解析,然后转成指定schema建表呢?元数据能保存到指定catalog上的那种(现在的kafka上的数据是字符串,使用指定的分隔符分割各个字段)
|