Re: pyflink 问题请教

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

Re: pyflink 问题请教

jincheng sun
你好,感谢你邮件中的问题!

> 1. pyflink 是还没有对应到 java datastream api 和 dataset api 的底层api 吗? 有什么加入计划?

是的,PyDataStream的支持已经初步计划在1.12版本进行支持,近期我会发出PyFlink在1.12的初步规划!

> 2. pyfilink的api 和Java api的命名是基本对应的吗?

Python API 和 Java API要求语法语义高度一致,所以命名应该是对应的。
同时PyFlink会根据Python语言的特点在局部使用过程中进行一定的使用优化, 比如 Java的Class.builder().setA(x).setB(y).build() 会优化为Python Keyword Argument 形式: Class(a=x, b=y)

> 3. pyalink 在合并到 pyflink 中吗? 进度大约到多少了?

pyAlink是Flink生态库Alink的Python入口,也可以理解为是pyFlink的生态库,pyAlink是基于pyFlink进行开发的,Alink的算法最终也可以在Flink中应用,也即是说PyFlink可以开发ML作业,算法的实现可以利用Alink算法库。在1.11中PyFlink会增加ML Pipeline的API支持,Alink本身也会进行接口的对齐。

> 4. 一个具体的java 对应到 pyflink的问题

这个问题很好,这是PyFlink支持 Datastream API需要考虑的重点问题, 其实API的定义也会和DataStream保持语义语法一致(可能会有Python语言的使用优化),关于API的对应我们采用Py4J进行支持,关于各种function(processFunction/mapFunction/...)会共用 Python UDF的实现方案(建立在Beam基础之上)


同时我很想了解一下您对Python DataStream API的需求业务场景是什么?如果您能细致的描述一下您对PyDataStream API需求的应用场景,这将对我们有很大的帮助!:)

感谢你邮件!

Best,
Jincheng
-------------
-------------


zhangyong <[hidden email]> 于2020年5月22日周五 上午11:06写道:
孙老师, 你好. 
最近在使用pyflink, 遇到一些问题, 通过网络查找后还是没能找到答案的, 想请教下您. 

1. pyflink 是还没有对应到 java datastream api 和 dataset api 的底层api 吗? 有什么加入计划?
2. pyfilink的api 和Java api的命名是基本对应的吗?
3. pyalink 在合并到 pyflink 中吗? 进度大约到多少了?
4. 一个具体的java 对应到 pyflink的问题: 




这里的addSource() , process() , map() 对应到pyflink中是哪些函数, 怎么实现??

多谢 孙老师 抽空解答下疑惑.