Re: flink1.11版本 -C 指令并未上传udf jar包

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11版本 -C 指令并未上传udf jar包

Qishang Zhong
Hi todd.
-C 不会上传对应路径下的 jar,最终会被添加到集群的 classpath 中,需要运行的机器对应的路径下要有同样的Jar包才可以。
可以放在私服或者oss的服务,通过 http 的方式加载的 udf jar
-C "<a href="http://host:port/xxx.jar">http://host:port/xxx.jar"

希望能帮到你。


todd <[hidden email]> 于2021年4月19日周一 下午10:22写道:

> 执行指令:flink  run   \
> -m yarn-cluster \
> -C file:///xxxx/flink-demo-1.0.jar \
> xxxxx
>
> 在Client端能够构建成功jobgraph,但是在yarn上会报UDF类找不到。我看Classpath中并未上传该JAR包。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11版本 -C 指令并未上传udf jar包

范 佳兴
-C,--classpath <url>                 Adds a URL to each user code
                                          classloader  on all nodes in the
                                          cluster. The paths must specify a
                                          protocol (e.g. file://) and be
                                          accessible on all nodes (e.g. by means
                                          of a NFS share). You can use this
                                          option multiple times for specifying
                                          more than one URL. The protocol must
                                          be supported by the {@link
                                          java.net.URLClassLoader}.

-C指定依赖jar包需要放在URLClassLoader能够访问到的位置。



在 2021/4/19 下午10:22,“todd”<[hidden email]> 写入:

    执行指令:flink  run   \
    -m yarn-cluster \
    -C file:///xxxx/flink-demo-1.0.jar \
    xxxxx
   
    在Client端能够构建成功jobgraph,但是在yarn上会报UDF类找不到。我看Classpath中并未上传该JAR包。
   
   
   
    --
    Sent from: http://apache-flink.147419.n8.nabble.com/