application模式提交操作hive的任务相关疑问

[Jun Zhang]

大家好：
我现在有一个flink的程序要读写hive的数据，在程序中构造HiveCatalog的时候需要有一个hiveConfDir，如果我使用的是新的application模式去提交任务，这个任务的解析应该是放到了master端，这个时候hadoop集群上没有hive的相关配置，那么这个hiveConfDir该怎么配置呢？

谢谢

[Rui Li]

有一种做法是把hive-site.xml打到作业jar包里，然后程序运行的时候再拷出来放到一个本地目录...我们也可以考虑以后为HiveCatalog添加一个接受HiveConf参数的构造器，这样对API的模式应该会更灵活

On Thu, Jul 23, 2020 at 3:51 PM Jun Zhang <[hidden email]>
wrote:

> 大家好：
>
> 我现在有一个flink的程序要读写hive的数据，在程序中构造HiveCatalog的时候需要有一个hiveConfDir，如果我使用的是新的application模式去提交任务，这个任务的解析应该是放到了master端，这个时候hadoop集群上没有hive的相关配置，那么这个hiveConfDir该怎么配置呢？
>
> 谢谢
>


--
Best regards!
Rui Li

[Jun Zhang-2]

我现在是改了源码，是把hivecatalog里面接收HiveConf参数的protected类型的构造方法改成了public类型，然后自己在代码里构造了HiveConf对象，传了一些必要的参数，比如metastore地址等。



Best&nbsp;&nbsp;Jun


------------------ 原始邮件 ------------------
发件人: Rui Li <[hidden email]&gt;
发送时间: 2020年7月23日 19:25
收件人: user-zh <[hidden email]&gt;
主题: 回复：application模式提交操作hive的任务相关疑问



有一种做法是把hive-site.xml打到作业jar包里，然后程序运行的时候再拷出来放到一个本地目录...我们也可以考虑以后为HiveCatalog添加一个接受HiveConf参数的构造器，这样对API的模式应该会更灵活

On Thu, Jul 23, 2020 at 3:51 PM Jun Zhang <[hidden email]&gt;
wrote:

&gt; 大家好：
&gt;
&gt; 我现在有一个flink的程序要读写hive的数据，在程序中构造HiveCatalog的时候需要有一个hiveConfDir，如果我使用的是新的application模式去提交任务，这个任务的解析应该是放到了master端，这个时候hadoop集群上没有hive的相关配置，那么这个hiveConfDir该怎么配置呢？
&gt;
&gt; 谢谢
&gt;


--
Best regards!
Rui Li

[Yang Wang]

可以使用-Dyarn.ship-directories=/path/of/hiveConfDir把hive的配置ship到JobManager端，hiveConfDir默认会在
当前目录下，同时这个目录也会自动加入到classpath，不太清楚这样是否可以让hive正常加载到


Best,
Yang

Jun Zhang <[hidden email]> 于2020年7月23日周四 下午3:51写道：

> 大家好：
>
> 我现在有一个flink的程序要读写hive的数据，在程序中构造HiveCatalog的时候需要有一个hiveConfDir，如果我使用的是新的application模式去提交任务，这个任务的解析应该是放到了master端，这个时候hadoop集群上没有hive的相关配置，那么这个hiveConfDir该怎么配置呢？
>
> 谢谢
>

[Jun Zhang]

hi,Yang Wang:
*谢谢你的建议，稍后我测试一下。*

Yang Wang <[hidden email]> 于2020年7月24日周五 上午10:09写道：

>
> 可以使用-Dyarn.ship-directories=/path/of/hiveConfDir把hive的配置ship到JobManager端，hiveConfDir默认会在
> 当前目录下，同时这个目录也会自动加入到classpath，不太清楚这样是否可以让hive正常加载到
>
>
> Best,
> Yang
>
> Jun Zhang <[hidden email]> 于2020年7月23日周四 下午3:51写道：
>
> > 大家好：
> >
> >
> 我现在有一个flink的程序要读写hive的数据，在程序中构造HiveCatalog的时候需要有一个hiveConfDir，如果我使用的是新的application模式去提交任务，这个任务的解析应该是放到了master端，这个时候hadoop集群上没有hive的相关配置，那么这个hiveConfDir该怎么配置呢？
> >
> > 谢谢
> >
>