你好
我这里主要是在一个自定义的http source中定时获取一堆数组id,打算转成set集合,然后广播出去,和kafka source 进行对接,然后在对kafka的每一条数据和set集合进行判断,过滤数据中的id不在数组id里面的数据。原本是用List集合,但是可能因为这里面的id数量会比较多,所以就想改成hashset 集合来进行判断,达到提高这个过滤的目的。
那我还是用回List集合来广播吧
谢谢
发件人: Congxian Qiu
发送时间: 2019年7月16日 20:43
收件人:
[hidden email]
主题: Re: 通用序列化类
你好
现在 Flink 中确实没有 Set 这个集合,请问,你们在什么场景下会使用 Set,或者说什么场景下是 Set 比 List/Map 更好呢?
现在的话,你可以用 List/或者 Map State 来模拟 Set 集合
Best,
Congxian
戴嘉诚 <
[hidden email]> 于2019年7月16日周二 下午8:20写道:
> 大家好:
>
>
> 我在调用Flink的序列化通用类的时候,发现了个情况,在Flink中,里面已经有通用的序列化类,例如:MapSerializer、ListSerializer等等,基本上java的原始类的都有了,但是我发现漏了set集合抽象成序列化类,这个是什么原因呢?是漏了?还是说有其他原因导致无法抽象set集合作为序列化类?我现在要用到set集合作为序列化的时候,是要自己写代码实现?还是用类似JDK源码的形式,把Set集合转成Map集合来处理?
>
>
> 谢谢
>