Flink 在什么时候检查算子中对象的序列化?

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink 在什么时候检查算子中对象的序列化?

aven.wu
我想弄明白什么flink在什么时候,哪些情况需要检查序列化,以及哪些对象会被序列化。静态方法又是如何处理的?
有没有仔细研究过这方面,提示一下我怎么看源码或者是如何了解这块。
Reply | Threaded
Open this post in threaded view
|

Re: Flink 在什么时候检查算子中对象的序列化?

Caizhi Weng
Hi wxy,
    这个问题有点宽泛... 总的来说,需要读写磁盘(包括数据的读写、state 的读写、checkpoint 的读写等等),经过网络(包括 job
manager 向 task manager 传递的 DAG 等等)等需要经过不同存储介质的数据都需要序列化。
    task manager 上也有 jar 包,里面有算子类,所以静态方法不是问题。

wxy <[hidden email]> 于2019年8月16日周五 下午7:18写道:

> 我想弄明白什么flink在什么时候,哪些情况需要检查序列化,以及哪些对象会被序列化。静态方法又是如何处理的?
> 有没有仔细研究过这方面,提示一下我怎么看源码或者是如何了解这块。