一个FlinkJob消费多个kafka topic消息问题

[史 正超]

1.平常工作中经常会有同一个统计表中会包含多个不同的统计指标,比如：post_count, send_count
2.然而这些指标来自不同的kafka 消息体
3.有没有在不用uninon all的情况下，向sink 表中写入各自topic的数据，因为union all有很多0值来填充

不想使用datastream union的前提下
如果是同一个kafka topic，那么用flink里边的filter或者split算子，对不同的数据分流后，给自己处理即可
如果是不同的topic，可以用循环，在循环里边处理每一个topic的数据，最后在循环外边做env.execute即可





--



[hidden email]



在 2019-08-29 16:10:50，"史 正超" <[hidden email]> 写道：
>1.平常工作中经常会有同一个统计表中会包含多个不同的统计指标,比如：post_count, send_count
>2.然而这些指标来自不同的kafka 消息体
>3.有没有在不用uninon all的情况下，向sink 表中写入各自topic的数据，因为union all有很多0值来填充
>

[zhisheng]

那可以一个 kafka 消息一个 sink

史 正超 <[hidden email]> 于2019年8月29日周四 下午4:11写道：

> 1.平常工作中经常会有同一个统计表中会包含多个不同的统计指标,比如：post_count, send_count
> 2.然而这些指标来自不同的kafka 消息体
> 3.有没有在不用uninon all的情况下，向sink 表中写入各自topic的数据，因为union all有很多0值来填充
>
>