pyflink udf依赖引用问题

[magichuang]

在使用pyflink  udf时，引用第三方依赖时出现了一下问题

如果直接通过  python    app.py    运行是没有问题的，可以出结果，但是提交到集群上就不行了

flink版本  1.11，是flink  on    yarn集群部署的，通过  per-job模式提交任务，集群一共三台机器，在其中一台上提交的

下面是代码截图

麻烦给看一下，上面那个报错是因为什么呀？需要在其他两台机器上提前把cache_dir弄好吗？  我看日志是有尝试在hdfs上新创建一个临时文件夹来放置依赖tar.gz文件的

祝好~

[Xingbo Huang]

Hi,

你的图片挂了，可以找个图床工具贴上去，这里附上链接或者直接添上来文字内容。

Best,
Xingbo

magichuang <[hidden email]> 于2020年12月14日周一 下午8:41写道：

> 在使用pyflink  udf时，引用第三方依赖时出现了一下问题
>
>
> 如果直接通过  python    app.py    运行是没有问题的，可以出结果，但是提交到集群上就不行了
>
> flink版本  1.11，是flink  on    yarn集群部署的，通过  per-job模式提交任务，集群一共三台机器，在其中一台上提交的
>
> 下面是代码截图
>
> 麻烦给看一下，上面那个报错是因为什么呀？需要在其他两台机器上提前把cache_dir弄好吗？
> 我看日志是有尝试在hdfs上新创建一个临时文件夹来放置依赖tar.gz文件的
>
>
> 祝好~
>
>
>