flink on k8s application mode指定运行作业jar包路径问题

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink on k8s application mode指定运行作业jar包路径问题

casel.chen
官网给的示例命令如下
./bin/flink run-application -p 8 -t kubernetes-application \

  -Dkubernetes.cluster-id=flink-k8s-application-cluster \

  -Dtaskmanager.memory.process.size=4096m \

  -Dkubernetes.taskmanager.cpu=2 \

  -Dtaskmanager.numberOfTaskSlots=4 \

  -Dkubernetes.container.image=flink:latest \

  local:///opt/flink/examples/streaming/TopSpeedWindowing.jar


这最后一行参数指定了作业jar包路径,请问只支持local模式吗?那这样的话就只能将作业打包进镜像了吧?有没有可能访问外部文件系统,例如hdfs或oss地址?
如果当前暂时不支持的话,还有别的workaround办法吗?我听说有一个init container,具体要如何操作呢?
Reply | Threaded
Open this post in threaded view
|

Re: flink on k8s application mode指定运行作业jar包路径问题

Yang Wang
目前native的方式只能支持local,也就是用户jar需要打到镜像里面,暂时不能支持hdfs或oss

是可以通过init container来下载,目前pod template[1]这个功能还没有支持,你可以跟进进度

[1]. https://issues.apache.org/jira/browse/FLINK-15656

Best,
Yang

陈帅 <[hidden email]> 于2021年1月2日周六 下午8:08写道:

> 官网给的示例命令如下
> ./bin/flink run-application -p 8 -t kubernetes-application \
>
>   -Dkubernetes.cluster-id=flink-k8s-application-cluster \
>
>   -Dtaskmanager.memory.process.size=4096m \
>
>   -Dkubernetes.taskmanager.cpu=2 \
>
>   -Dtaskmanager.numberOfTaskSlots=4 \
>
>   -Dkubernetes.container.image=flink:latest \
>
>   local:///opt/flink/examples/streaming/TopSpeedWindowing.jar
>
>
>
> 这最后一行参数指定了作业jar包路径,请问只支持local模式吗?那这样的话就只能将作业打包进镜像了吧?有没有可能访问外部文件系统,例如hdfs或oss地址?
> 如果当前暂时不支持的话,还有别的workaround办法吗?我听说有一个init container,具体要如何操作呢?