Flink1.11 hive catalog使用

classic Classic list List threaded Threaded
7 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink1.11 hive catalog使用

Dream-底限
hi
我这面在使用hivecatalog将kafka数据落地到hive,但现在有一个问题是,我不想保存kafka source
table元数据(默认自动保存),通过创建视图或临时表的方式启动flink任务,这时候直接通过kafka source
table表名直接引用报错,提示hive catalog内没这张表,这种情况我改怎么引用我的kafka未持久化表哪
Reply | Threaded
Open this post in threaded view
|

Re: Flink1.11 hive catalog使用

Rui Li
可以把kafka的表保存在内置的in-memory catalog里,名字应该是default_catalog,这样就不会持久化了。或者用create
temporary table的方式应该也可以。

On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <[hidden email]> wrote:

> hi
> 我这面在使用hivecatalog将kafka数据落地到hive,但现在有一个问题是,我不想保存kafka source
> table元数据(默认自动保存),通过创建视图或临时表的方式启动flink任务,这时候直接通过kafka source
> table表名直接引用报错,提示hive catalog内没这张表,这种情况我改怎么引用我的kafka未持久化表哪
>


--
Best regards!
Rui Li
Reply | Threaded
Open this post in threaded view
|

Re: Flink1.11 hive catalog使用

Dream-底限
hi
我先前用这种方式创建的表,在sql中直接使用的时候提示hivecatalog内无这张表,请问这张表使用的时候要怎么引用哪
>或者用create temporary table的方式应该也可以。

Rui Li <[hidden email]> 于2020年8月19日周三 上午11:11写道:

> 可以把kafka的表保存在内置的in-memory catalog里,名字应该是default_catalog,这样就不会持久化了。或者用create
> temporary table的方式应该也可以。
>
> On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <[hidden email]> wrote:
>
> > hi
> > 我这面在使用hivecatalog将kafka数据落地到hive,但现在有一个问题是,我不想保存kafka source
> > table元数据(默认自动保存),通过创建视图或临时表的方式启动flink任务,这时候直接通过kafka source
> > table表名直接引用报错,提示hive catalog内没这张表,这种情况我改怎么引用我的kafka未持久化表哪
> >
>
>
> --
> Best regards!
> Rui Li
>
Reply | Threaded
Open this post in threaded view
|

Re: Flink1.11 hive catalog使用

Rui Li
是怎么用的啊,我去试试

On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 <[hidden email]> wrote:

> hi
> 我先前用这种方式创建的表,在sql中直接使用的时候提示hivecatalog内无这张表,请问这张表使用的时候要怎么引用哪
> >或者用create temporary table的方式应该也可以。
>
> Rui Li <[hidden email]> 于2020年8月19日周三 上午11:11写道:
>
> > 可以把kafka的表保存在内置的in-memory
> catalog里,名字应该是default_catalog,这样就不会持久化了。或者用create
> > temporary table的方式应该也可以。
> >
> > On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <[hidden email]> wrote:
> >
> > > hi
> > > 我这面在使用hivecatalog将kafka数据落地到hive,但现在有一个问题是,我不想保存kafka source
> > > table元数据(默认自动保存),通过创建视图或临时表的方式启动flink任务,这时候直接通过kafka source
> > > table表名直接引用报错,提示hive catalog内没这张表,这种情况我改怎么引用我的kafka未持久化表哪
> > >
> >
> >
> > --
> > Best regards!
> > Rui Li
> >
>


--
Best regards!
Rui Li
Reply | Threaded
Open this post in threaded view
|

Re: Flink1.11 hive catalog使用

Dream-底限
hi
先设置hiveCatalog及默认数据库,然后use hivecatalog
接下来建表的时候create temporary table test(...),使用的时候:select ... from test
这个时候就报错说hivecatalog的默认数据库内无这张表

Rui Li <[hidden email]> 于2020年8月19日周三 下午3:49写道:

> 是怎么用的啊,我去试试
>
> On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 <[hidden email]> wrote:
>
> > hi
> > 我先前用这种方式创建的表,在sql中直接使用的时候提示hivecatalog内无这张表,请问这张表使用的时候要怎么引用哪
> > >或者用create temporary table的方式应该也可以。
> >
> > Rui Li <[hidden email]> 于2020年8月19日周三 上午11:11写道:
> >
> > > 可以把kafka的表保存在内置的in-memory
> > catalog里,名字应该是default_catalog,这样就不会持久化了。或者用create
> > > temporary table的方式应该也可以。
> > >
> > > On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <[hidden email]> wrote:
> > >
> > > > hi
> > > > 我这面在使用hivecatalog将kafka数据落地到hive,但现在有一个问题是,我不想保存kafka source
> > > > table元数据(默认自动保存),通过创建视图或临时表的方式启动flink任务,这时候直接通过kafka source
> > > > table表名直接引用报错,提示hive catalog内没这张表,这种情况我改怎么引用我的kafka未持久化表哪
> > > >
> > >
> > >
> > > --
> > > Best regards!
> > > Rui Li
> > >
> >
>
>
> --
> Best regards!
> Rui Li
>
Reply | Threaded
Open this post in threaded view
|

Re: Flink1.11 hive catalog使用

Rui Li
我试了一下确实是有问题,我后面跟进一下。暂时可以用in-memory catalog来避免一下这个问题。

On Wed, Aug 19, 2020 at 3:55 PM Dream-底限 <[hidden email]> wrote:

> hi
> 先设置hiveCatalog及默认数据库,然后use hivecatalog
> 接下来建表的时候create temporary table test(...),使用的时候:select ... from test
> 这个时候就报错说hivecatalog的默认数据库内无这张表
>
> Rui Li <[hidden email]> 于2020年8月19日周三 下午3:49写道:
>
> > 是怎么用的啊,我去试试
> >
> > On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 <[hidden email]> wrote:
> >
> > > hi
> > > 我先前用这种方式创建的表,在sql中直接使用的时候提示hivecatalog内无这张表,请问这张表使用的时候要怎么引用哪
> > > >或者用create temporary table的方式应该也可以。
> > >
> > > Rui Li <[hidden email]> 于2020年8月19日周三 上午11:11写道:
> > >
> > > > 可以把kafka的表保存在内置的in-memory
> > > catalog里,名字应该是default_catalog,这样就不会持久化了。或者用create
> > > > temporary table的方式应该也可以。
> > > >
> > > > On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <[hidden email]>
> wrote:
> > > >
> > > > > hi
> > > > > 我这面在使用hivecatalog将kafka数据落地到hive,但现在有一个问题是,我不想保存kafka source
> > > > > table元数据(默认自动保存),通过创建视图或临时表的方式启动flink任务,这时候直接通过kafka source
> > > > > table表名直接引用报错,提示hive catalog内没这张表,这种情况我改怎么引用我的kafka未持久化表哪
> > > > >
> > > >
> > > >
> > > > --
> > > > Best regards!
> > > > Rui Li
> > > >
> > >
> >
> >
> > --
> > Best regards!
> > Rui Li
> >
>


--
Best regards!
Rui Li
Reply | Threaded
Open this post in threaded view
|

Re: Flink1.11 hive catalog使用

nobleyd
我感觉像是因为你use了hive catalog的原因,因此是默认从这个catalog中搜索。
可不可以直接select * from catalog.db.table 这样试一试呢?

Rui Li <[hidden email]> 于2020年8月19日周三 下午5:11写道:

> 我试了一下确实是有问题,我后面跟进一下。暂时可以用in-memory catalog来避免一下这个问题。
>
> On Wed, Aug 19, 2020 at 3:55 PM Dream-底限 <[hidden email]> wrote:
>
> > hi
> > 先设置hiveCatalog及默认数据库,然后use hivecatalog
> > 接下来建表的时候create temporary table test(...),使用的时候:select ... from test
> > 这个时候就报错说hivecatalog的默认数据库内无这张表
> >
> > Rui Li <[hidden email]> 于2020年8月19日周三 下午3:49写道:
> >
> > > 是怎么用的啊,我去试试
> > >
> > > On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 <[hidden email]> wrote:
> > >
> > > > hi
> > > > 我先前用这种方式创建的表,在sql中直接使用的时候提示hivecatalog内无这张表,请问这张表使用的时候要怎么引用哪
> > > > >或者用create temporary table的方式应该也可以。
> > > >
> > > > Rui Li <[hidden email]> 于2020年8月19日周三 上午11:11写道:
> > > >
> > > > > 可以把kafka的表保存在内置的in-memory
> > > > catalog里,名字应该是default_catalog,这样就不会持久化了。或者用create
> > > > > temporary table的方式应该也可以。
> > > > >
> > > > > On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 <[hidden email]>
> > wrote:
> > > > >
> > > > > > hi
> > > > > > 我这面在使用hivecatalog将kafka数据落地到hive,但现在有一个问题是,我不想保存kafka source
> > > > > > table元数据(默认自动保存),通过创建视图或临时表的方式启动flink任务,这时候直接通过kafka source
> > > > > > table表名直接引用报错,提示hive catalog内没这张表,这种情况我改怎么引用我的kafka未持久化表哪
> > > > > >
> > > > >
> > > > >
> > > > > --
> > > > > Best regards!
> > > > > Rui Li
> > > > >
> > > >
> > >
> > >
> > > --
> > > Best regards!
> > > Rui Li
> > >
> >
>
>
> --
> Best regards!
> Rui Li
>