关于dataStream 转成kafka流表 新建的表是否可以保存到已存在的catalog里面

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

关于dataStream 转成kafka流表 新建的表是否可以保存到已存在的catalog里面

夜思流年梦
Hi 开发者好:
目前有此场景:
业务已经有埋点上报的数据在kafka ,现在想使用对应的kafka数据 转换成 table, 由于这个 kafka的数据格式不是json格式,所以没法直接使用 flink-sql 的kafka-connector 用sql DDL的方式建kafka 表;


现在在尝试对kafka的数据做一次 map转换,返回 json格式,然后再基于此json格式 创建 kafka 流表


但是这种做法好像无法把表的元数据持久化,即在其他session无法读取到建的这个表;
是否有对应的方法,通过对kafka流做一定转换 ,然后再转换成 可以持久化到对应 catalog 上的 kafka 表呢


或者是否可以使用 flink-sql 的kafka-connector  ,然后把kafka的数据做一定解析,然后转成指定schema建表呢?元数据能保存到指定catalog上的那种(现在的kafka上的数据是字符串,使用指定的分隔符分割各个字段)