Pyflink dataset没有支持相关map reduce函数

[nova.he]

你好，
      最近项目想使用flink进行分布式计算，之前项目是Python的pandas项目，想尝试用pyflink进行项目改造，在使用dataset做批处理时，没有相关map reduce函数，所以有以下疑问：
1.Python flink的SDK还没支持dataset吗？
2.是不是有其他替代方法？
3.如果还没支持，有计划支持的时间吗？
4.flink table为啥不支持map reduce操作？
5.我们项目使用dataframe来处理数据，能放到flink上做分布式运算吗？dataframe直接转化为table的方式，table不支持map reduce操作，对应pandas项目改造成flink，有什么好的建议么？


非常感谢，十分看好flink，希望社区越做越大，辛苦了！


nova.he
[hidden email]

[Dian Fu]

Hi,

有几个疑问：
1）你说的map reduce函数具体指的什么？可以举一个例子吗？
2）DataSet API指的是Java的DataSet API吗？另外，Java的DataSet API会逐步废弃，统一到DataStream API上来，所以PyFlink里不会支持DataSet API，只支持Python Table API和Python DataStream API

> 2021年3月13日 上午10:54，nova.he <[hidden email]> 写道：
>
> 你好，
> &nbsp; &nbsp; &nbsp; 最近项目想使用flink进行分布式计算，之前项目是Python的pandas项目，想尝试用pyflink进行项目改造，在使用dataset做批处理时，没有相关map reduce函数，所以有以下疑问：
> 1.Python flink的SDK还没支持dataset吗？
> 2.是不是有其他替代方法？
> 3.如果还没支持，有计划支持的时间吗？
> 4.flink table为啥不支持map reduce操作？
> 5.我们项目使用dataframe来处理数据，能放到flink上做分布式运算吗？dataframe直接转化为table的方式，table不支持map reduce操作，对应pandas项目改造成flink，有什么好的建议么？
>
>
> 非常感谢，十分看好flink，希望社区越做越大，辛苦了！
>
>
> nova.he
> [hidden email]