Native Kubernetes 需要访问HDFS

[liujian]

Hi:
   在使用Native Kubernetes 需要访问HDFS,已经将flink-shaded-hadoop-2-uber-2.8.3-10.0.jar放到lib目录
   但是hdfs是HA,那么就需要hdfs-site.xml等文件了,那么是如何指定这个文件呢   

[Yang Wang]

你可以在Flink client端设置HADOOP_CONF_DIR环境变量即可，这样会自动ship
hadoop的配置并且挂载给JobManager和TaskManager的

Best,
Yang

liujian <[hidden email]> 于2020年12月18日周五 下午5:26写道：

> Hi:
> &nbsp; &nbsp;在使用Native Kubernetes
> 需要访问HDFS,已经将flink-shaded-hadoop-2-uber-2.8.3-10.0.jar放到lib目录
> &nbsp; &nbsp;但是hdfs是HA,那么就需要hdfs-site.xml等文件了,那么是如何指定这个文件呢&nbsp; &nbsp;

[Akisaya]

1.10 版本好像还没有支持，看了下 1.10 代码里创建 cm 的时候没有去读取 hadoop 配置

Yang Wang <[hidden email]> 于2020年12月19日周六 上午12:18写道：

> 你可以在Flink client端设置HADOOP_CONF_DIR环境变量即可，这样会自动ship
> hadoop的配置并且挂载给JobManager和TaskManager的
>
> Best,
> Yang
>
> liujian <[hidden email]> 于2020年12月18日周五 下午5:26写道：
>
> > Hi:
> > &nbsp; &nbsp;在使用Native Kubernetes
> > 需要访问HDFS,已经将flink-shaded-hadoop-2-uber-2.8.3-10.0.jar放到lib目录
> > &nbsp; &nbsp;但是hdfs是HA,那么就需要hdfs-site.xml等文件了,那么是如何指定这个文件呢&nbsp; &nbsp;
>

[Yang Wang]

对，是的，自动ship hadoop配置是从1.11开始支持的

在1.10的版本你需要把配置打到镜像里面

Best,
Yang

Akisaya <[hidden email]> 于2020年12月21日周一 下午5:02写道：

> 1.10 版本好像还没有支持，看了下 1.10 代码里创建 cm 的时候没有去读取 hadoop 配置
>
> Yang Wang <[hidden email]> 于2020年12月19日周六 上午12:18写道：
>
> > 你可以在Flink client端设置HADOOP_CONF_DIR环境变量即可，这样会自动ship
> > hadoop的配置并且挂载给JobManager和TaskManager的
> >
> > Best,
> > Yang
> >
> > liujian <[hidden email]> 于2020年12月18日周五 下午5:26写道：
> >
> > > Hi:
> > > &nbsp; &nbsp;在使用Native Kubernetes
> > > 需要访问HDFS,已经将flink-shaded-hadoop-2-uber-2.8.3-10.0.jar放到lib目录
> > > &nbsp; &nbsp;但是hdfs是HA,那么就需要hdfs-site.xml等文件了,那么是如何指定这个文件呢&nbsp; &nbsp;
> >
>