pyflink和pyspark中引用包不兼容,li例如pyspark 中pandas版本1.1.4 而pyflink是>=0.23<0.25

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

pyflink和pyspark中引用包不兼容,li例如pyspark 中pandas版本1.1.4 而pyflink是>=0.23<0.25

xuzh-2
pyflink和pyspark中引用包不兼容,li例如pyspark 中pandas版本1.1.4 而pyflink是&gt;=0.23<0.25.
官方有没有升级pandas版的计划。
为了能让pyflink和pyspak兼容。在某些主版本上的包能保持一致嘛
个人建议
Reply | Threaded
Open this post in threaded view
|

Re: pyflink和pyspark中引用包不兼容,li例如pyspark 中pandas版本1.1.4 而pyflink是>=0.23<0.25

Xingbo Huang
Hi,
pyspark对pandas版本的限制是>=0.23.2,你安装的话就默认安装了最新的版本的pandas,这是有很大的潜在风险的。
在pyflink
1.11版本的时候pdandas的版本限制是pandas>=0.23.4,<=0.25.3,使用更稳定的pandas的版本可以规避很多风险。而且这个版本范围也在pyspark的范围内,是能一起用的。

Best,
Xingbo

xuzh <[hidden email]> 于2020年10月23日周五 上午9:39写道:

> pyflink和pyspark中引用包不兼容,li例如pyspark 中pandas版本1.1.4 而pyflink是&gt;=0.23<0.25.
> 官方有没有升级pandas版的计划。
> 为了能让pyflink和pyspak兼容。在某些主版本上的包能保持一致嘛
> 个人建议