Flink SQL一个Job使用多个Catalog的例子

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink SQL一个Job使用多个Catalog的例子

Luna Wong
大家好。
  我没有在官网找到个Job使用多个Catalog的例子。
  我想在一个Job里使用普通的Catalog注册个Kafka Source然后,将数据发送Iceberg Sink表。这个Sink表
注册在另一个Iceberg +  Hive 的Catalog 中。
注册代码如下。
 CREATE CATALOG hive_catalog WITH (
'type'='iceberg',
'catalog-type'='hive',
'uri'='thrift://kudu1:9083',
'clients'='2',
'property-version'='1',
'warehouse'='hdfs://ns1//user/hive/warehouse'
);
之所以使用两个Catalog是因为我发现Kafka Source无法注册到这种类型为Iceberg的Hive Catalog中。我必须得换一个Catalog。
目前在IDEA下我还没跑起来。

可爱的木兰。
Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL一个Job使用多个Catalog的例子

Luna Wong
我已经解决了。USE其他Catalog再建表即可。

Luna Wong <[hidden email]> 于2021年1月12日周二 下午9:41写道:

>
> 大家好。
>   我没有在官网找到个Job使用多个Catalog的例子。
>   我想在一个Job里使用普通的Catalog注册个Kafka Source然后,将数据发送Iceberg Sink表。这个Sink表
> 注册在另一个Iceberg +  Hive 的Catalog 中。
> 注册代码如下。
>  CREATE CATALOG hive_catalog WITH (
> 'type'='iceberg',
> 'catalog-type'='hive',
> 'uri'='thrift://kudu1:9083',
> 'clients'='2',
> 'property-version'='1',
> 'warehouse'='hdfs://ns1//user/hive/warehouse'
> );
> 之所以使用两个Catalog是因为我发现Kafka Source无法注册到这种类型为Iceberg的Hive Catalog中。我必须得换一个Catalog。
> 目前在IDEA下我还没跑起来。
>
> 可爱的木兰。