flink k8s高可用如何使用oss作为high-availability.storageDir?

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink k8s高可用如何使用oss作为high-availability.storageDir?

casel.chen
如题,在k8s环境下不想使用hdfs作为high-availability.storageDir,有没有办法直接使用oss呢?checkpoint和savepoint已经能够使用oss了。
Reply | Threaded
Open this post in threaded view
|

Re: flink k8s高可用如何使用oss作为high-availability.storageDir?

Yang Wang
使用社区官方镜像flink:1.12.1,你需要配置如下参数
最后两个参数是通过环境变量的方式来enable oss的plugin

high-availability.storageDir: oss://flink/flink-ha
fs.oss.endpoint: xxxx
fs.oss.accessKeyId: xxxx
fs.oss.accessKeySecret: xxxx
containerized.master.env.ENABLE_BUILT_IN_PLUGINS:
flink-oss-fs-hadoop-1.12.1.jar
containerized.taskmanager.env.ENABLE_BUILT_IN_PLUGINS:
flink-oss-fs-hadoop-1.12.1.jar

Best,
Yang

casel.chen <[hidden email]> 于2021年2月17日周三 下午5:42写道:

>
> 如题,在k8s环境下不想使用hdfs作为high-availability.storageDir,有没有办法直接使用oss呢?checkpoint和savepoint已经能够使用oss了。