pyflink udf 依赖问题

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

pyflink udf 依赖问题

magichuang
大家好,我刚才修改了集群的flink配置文件  python.client.executable: /usr/bin/python3.6   ,将集群三台机器的Python默认  改为了python3.6

flink版本:1.11        flink  on  yarn集群搭建的,通过per-job模式提交任务的

提交命令:flink run -m yarn-cluster   -ytm 2048  -s  2 -p 2 -py traffic.py

截图地址

看报错是目录权限问题,是通过  先离线安装到cached_dir 然后提交的,flink集群搭建时用的是root用户,提交任务时也是root用户

截图地址