通用序列化类

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

通用序列化类

戴嘉诚
大家好:

我在调用Flink的序列化通用类的时候,发现了个情况,在Flink中,里面已经有通用的序列化类,例如:MapSerializer、ListSerializer等等,基本上java的原始类的都有了,但是我发现漏了set集合抽象成序列化类,这个是什么原因呢?是漏了?还是说有其他原因导致无法抽象set集合作为序列化类?我现在要用到set集合作为序列化的时候,是要自己写代码实现?还是用类似JDK源码的形式,把Set集合转成Map集合来处理?


谢谢
Reply | Threaded
Open this post in threaded view
|

Re: 通用序列化类

Congxian Qiu
你好

现在 Flink 中确实没有 Set 这个集合,请问,你们在什么场景下会使用 Set,或者说什么场景下是 Set 比 List/Map 更好呢?
现在的话,你可以用 List/或者 Map State 来模拟 Set 集合

Best,
Congxian


戴嘉诚 <[hidden email]> 于2019年7月16日周二 下午8:20写道:

> 大家好:
>
>
> 我在调用Flink的序列化通用类的时候,发现了个情况,在Flink中,里面已经有通用的序列化类,例如:MapSerializer、ListSerializer等等,基本上java的原始类的都有了,但是我发现漏了set集合抽象成序列化类,这个是什么原因呢?是漏了?还是说有其他原因导致无法抽象set集合作为序列化类?我现在要用到set集合作为序列化的时候,是要自己写代码实现?还是用类似JDK源码的形式,把Set集合转成Map集合来处理?
>
>
> 谢谢
>
Reply | Threaded
Open this post in threaded view
|

答复: 通用序列化类

戴嘉诚
你好

我这里主要是在一个自定义的http source中定时获取一堆数组id,打算转成set集合,然后广播出去,和kafka source 进行对接,然后在对kafka的每一条数据和set集合进行判断,过滤数据中的id不在数组id里面的数据。原本是用List集合,但是可能因为这里面的id数量会比较多,所以就想改成hashset 集合来进行判断,达到提高这个过滤的目的。

那我还是用回List集合来广播吧

谢谢

发件人: Congxian Qiu
发送时间: 2019年7月16日 20:43
收件人: [hidden email]
主题: Re: 通用序列化类

你好

现在 Flink 中确实没有 Set 这个集合,请问,你们在什么场景下会使用 Set,或者说什么场景下是 Set 比 List/Map 更好呢?
现在的话,你可以用 List/或者 Map State 来模拟 Set 集合

Best,
Congxian


戴嘉诚 <[hidden email]> 于2019年7月16日周二 下午8:20写道:

> 大家好:
>
>
> 我在调用Flink的序列化通用类的时候,发现了个情况,在Flink中,里面已经有通用的序列化类,例如:MapSerializer、ListSerializer等等,基本上java的原始类的都有了,但是我发现漏了set集合抽象成序列化类,这个是什么原因呢?是漏了?还是说有其他原因导致无法抽象set集合作为序列化类?我现在要用到set集合作为序列化的时候,是要自己写代码实现?还是用类似JDK源码的形式,把Set集合转成Map集合来处理?
>
>
> 谢谢
>