join key 有重复的双流 join 怎样去重后发送到 kafka

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

join key 有重复的双流 join 怎样去重后发送到 kafka

wanglei2@geekplus.com.cn
有两个 kafka 作为数据源的表
order_info:
          order_no   info
order_status:
          order_no  status

两个表的 order_no 都会有重复,来一条其中一个表的记录,会在另外一个表中找到多条记录。
我怎样实现在另外一个表中只取出与该 join key 相关的最新的一条记录并发送到 kafka 中呢?

kafka 只支持 append 模式的 sink,先把 表 group 再join 行不通。

谢谢,
王磊