stream sink hive 在hdfs ha模式下

[air23]

hi 你好
  我这边集群是cdh的。 配置了hdfs ha模式
 在使用 kafka sink 到hive 时候找不到nameservices
java.lang.IllegalArgumentException: java.net.UnknownHostException: nameservices1


请问 在ha模式下 应该怎么配置

[Jark]

可以提供下完整的异常栈吗？以及使用的版本号和代码。

On Mon, 3 Aug 2020 at 13:32, air23 <[hidden email]> wrote:

> hi 你好
>   我这边集群是cdh的。 配置了hdfs ha模式
>  在使用 kafka sink 到hive 时候找不到nameservices
> java.lang.IllegalArgumentException: java.net.UnknownHostException:
> nameservices1
>
>
> 请问 在ha模式下 应该怎么配置

[abc15606]

可以在flink-conf.yaml中加入 env.hadoop.conf.dir: 指向hadooo配置文件目录

发自我的iPhone

> 在 2020年8月7日，00:16，Jark Wu <[hidden email]> 写道：
>
> 可以提供下完整的异常栈吗？以及使用的版本号和代码。
>
>> On Mon, 3 Aug 2020 at 13:32, air23 <[hidden email]> wrote:
>>
>> hi 你好
>>  我这边集群是cdh的。 配置了hdfs ha模式
>> 在使用 kafka sink 到hive 时候找不到nameservices
>> java.lang.IllegalArgumentException: java.net.UnknownHostException:
>> nameservices1
>>
>>
>> 请问 在ha模式下 应该怎么配置

[Yang Wang]

对hive不是很清楚，但报java.net.UnknownHostException: nameservices1这种错
一般是因为没有加载到HDFS的配置，core-site.xml和hdfs-site.xml
因为nameservices1本质上不是一个host，而是在hdfs-site.xml里面定义的，通过它来找nn1、nn2的地址


Best,
Yang

<[hidden email]> 于2020年8月7日周五 上午8:34写道：

> 可以在flink-conf.yaml中加入 env.hadoop.conf.dir: 指向hadooo配置文件目录
>
> 发自我的iPhone
>
> > 在 2020年8月7日，00:16，Jark Wu <[hidden email]> 写道：
> >
> > 可以提供下完整的异常栈吗？以及使用的版本号和代码。
> >
> >> On Mon, 3 Aug 2020 at 13:32, air23 <[hidden email]> wrote:
> >>
> >> hi 你好
> >>  我这边集群是cdh的。 配置了hdfs ha模式
> >> 在使用 kafka sink 到hive 时候找不到nameservices
> >> java.lang.IllegalArgumentException: java.net.UnknownHostException:
> >> nameservices1
> >>
> >>
> >> 请问 在ha模式下 应该怎么配置
>
>

[Rui Li]

是的，这个是因为HDFS的配置没读到，如果设置了HADOOP_CONF_DIR环境变量我们也会自动去这个目录下读core-site、hdfs-site这些文件的。

On Fri, Aug 7, 2020 at 10:16 AM Yang Wang <[hidden email]> wrote:

> 对hive不是很清楚，但报java.net.UnknownHostException: nameservices1这种错
> 一般是因为没有加载到HDFS的配置，core-site.xml和hdfs-site.xml
> 因为nameservices1本质上不是一个host，而是在hdfs-site.xml里面定义的，通过它来找nn1、nn2的地址
>
>
> Best,
> Yang
>
> <[hidden email]> 于2020年8月7日周五 上午8:34写道：
>
> > 可以在flink-conf.yaml中加入 env.hadoop.conf.dir: 指向hadooo配置文件目录
> >
> > 发自我的iPhone
> >
> > > 在 2020年8月7日，00:16，Jark Wu <[hidden email]> 写道：
> > >
> > > 可以提供下完整的异常栈吗？以及使用的版本号和代码。
> > >
> > >> On Mon, 3 Aug 2020 at 13:32, air23 <[hidden email]> wrote:
> > >>
> > >> hi 你好
> > >>  我这边集群是cdh的。 配置了hdfs ha模式
> > >> 在使用 kafka sink 到hive 时候找不到nameservices
> > >> java.lang.IllegalArgumentException: java.net.UnknownHostException:
> > >> nameservices1
> > >>
> > >>
> > >> 请问 在ha模式下 应该怎么配置
> >
> >
>

--
Best regards!
Rui Li

[Evan]

注册hiveCatalog的时候
将 hdfs-site.xml文件 放在hiveConfDir下即可



[hidden email]

发件人： Yang Wang
发送时间： 2020-08-07 10:15
收件人： user-zh
主题： Re: stream sink hive 在hdfs ha模式下
对hive不是很清楚，但报java.net.UnknownHostException: nameservices1这种错
一般是因为没有加载到HDFS的配置，core-site.xml和hdfs-site.xml
因为nameservices1本质上不是一个host，而是在hdfs-site.xml里面定义的，通过它来找nn1、nn2的地址
 
 
Best,
Yang
 
<[hidden email]> 于2020年8月7日周五 上午8:34写道：
 

> 可以在flink-conf.yaml中加入 env.hadoop.conf.dir: 指向hadooo配置文件目录
>
> 发自我的iPhone
>
> > 在 2020年8月7日，00:16，Jark Wu <[hidden email]> 写道：
> >
> > 可以提供下完整的异常栈吗？以及使用的版本号和代码。
> >
> >> On Mon, 3 Aug 2020 at 13:32, air23 <[hidden email]> wrote:
> >>
> >> hi 你好
> >>  我这边集群是cdh的。 配置了hdfs ha模式
> >> 在使用 kafka sink 到hive 时候找不到nameservices
> >> java.lang.IllegalArgumentException: java.net.UnknownHostException:
> >> nameservices1
> >>
> >>
> >> 请问 在ha模式下 应该怎么配置
>
>