flink orc与hive2.1.1版本冲突怎么解决

classic Classic list List threaded Threaded
11 messages Options
Reply | Threaded
Open this post in threaded view
|

flink orc与hive2.1.1版本冲突怎么解决

abc15606
使用版本是flink 1.11
Hive 2.1.1
flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?


Reply | Threaded
Open this post in threaded view
|

Re: flink orc与hive2.1.1版本冲突怎么解决

Jingsong Li
如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。
确定这个版本hive写出的数据可以被读取吗?

On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote:

> 使用版本是flink 1.11
> Hive 2.1.1
> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?
>
>
>

--
Best, Jingsong Lee
Reply | Threaded
Open this post in threaded view
|

Re: flink orc与hive2.1.1版本冲突怎么解决

abc15606
Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。

发自我的iPhone

> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道:
>
> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。
> 确定这个版本hive写出的数据可以被读取吗?
>
>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote:
>>
>> 使用版本是flink 1.11
>> Hive 2.1.1
>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?
>>
>>
>>
>
> --
> Best, Jingsong Lee
Reply | Threaded
Open this post in threaded view
|

Re: flink orc与hive2.1.1版本冲突怎么解决

Jingsong Li
Flink filesystem connector 或者 DataStream用flink-orc 的版本是比较新的版本,所以老版本的ORC读不了。

建议你用Flink hive表的方式来写orc

On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote:

> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。
>
> 发自我的iPhone
>
> > 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道:
> >
> > 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。
> > 确定这个版本hive写出的数据可以被读取吗?
> >
> >> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote:
> >>
> >> 使用版本是flink 1.11
> >> Hive 2.1.1
> >> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?
> >>
> >>
> >>
> >
> > --
> > Best, Jingsong Lee
>


--
Best, Jingsong Lee
Reply | Threaded
Open this post in threaded view
|

Re: flink orc与hive2.1.1版本冲突怎么解决

abc15606
flink hive表的方式是什么意思?hive streaming吗?

发自我的iPhone

> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道:
>
> Flink filesystem connector 或者 DataStream用flink-orc 的版本是比较新的版本,所以老版本的ORC读不了。
>
> 建议你用Flink hive表的方式来写orc
>
>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote:
>>
>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。
>>
>> 发自我的iPhone
>>
>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道:
>>>
>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。
>>> 确定这个版本hive写出的数据可以被读取吗?
>>>
>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote:
>>>>
>>>> 使用版本是flink 1.11
>>>> Hive 2.1.1
>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?
>>>>
>>>>
>>>>
>>>
>>> --
>>> Best, Jingsong Lee
>>
>
>
> --
> Best, Jingsong Lee

Reply | Threaded
Open this post in threaded view
|

Re: flink orc与hive2.1.1版本冲突怎么解决

Jingsong Li
是的

On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote:

> flink hive表的方式是什么意思?hive streaming吗?
>
> 发自我的iPhone
>
> > 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道:
> >
> > Flink filesystem connector 或者 DataStream用flink-orc
> 的版本是比较新的版本,所以老版本的ORC读不了。
> >
> > 建议你用Flink hive表的方式来写orc
> >
> >> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote:
> >>
> >> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。
> >>
> >> 发自我的iPhone
> >>
> >>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道:
> >>>
> >>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。
> >>> 确定这个版本hive写出的数据可以被读取吗?
> >>>
> >>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote:
> >>>>
> >>>> 使用版本是flink 1.11
> >>>> Hive 2.1.1
> >>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?
> >>>>
> >>>>
> >>>>
> >>>
> >>> --
> >>> Best, Jingsong Lee
> >>
> >
> >
> > --
> > Best, Jingsong Lee
>
>

--
Best, Jingsong Lee
Reply | Threaded
Open this post in threaded view
|

Re: flink orc与hive2.1.1版本冲突怎么解决

abc15606
试过了,一样的,本质也是通过写文件。

发自我的iPhone

> 在 2020年8月21日,13:35,Jingsong Li <[hidden email]> 写道:
>
> 是的
>
>> On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote:
>>
>> flink hive表的方式是什么意思?hive streaming吗?
>>
>> 发自我的iPhone
>>
>>>> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道:
>>>
>>> Flink filesystem connector 或者 DataStream用flink-orc
>> 的版本是比较新的版本,所以老版本的ORC读不了。
>>>
>>> 建议你用Flink hive表的方式来写orc
>>>
>>>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote:
>>>>
>>>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。
>>>>
>>>> 发自我的iPhone
>>>>
>>>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道:
>>>>>
>>>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。
>>>>> 确定这个版本hive写出的数据可以被读取吗?
>>>>>
>>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote:
>>>>>>
>>>>>> 使用版本是flink 1.11
>>>>>> Hive 2.1.1
>>>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?
>>>>>>
>>>>>>
>>>>>>
>>>>>
>>>>> --
>>>>> Best, Jingsong Lee
>>>>
>>>
>>>
>>> --
>>> Best, Jingsong Lee
>>
>>
>
> --
> Best, Jingsong Lee

Reply | Threaded
Open this post in threaded view
|

Re: flink orc与hive2.1.1版本冲突怎么解决

Rui Li
Hi,

能不能具体描述一下你的作业是怎么写的?比如怎么创建的hive表,如何把数据写进去之类的。我们可以试试能不能重现你的问题

On Fri, Aug 21, 2020 at 1:41 PM <[hidden email]> wrote:

> 试过了,一样的,本质也是通过写文件。
>
> 发自我的iPhone
>
> > 在 2020年8月21日,13:35,Jingsong Li <[hidden email]> 写道:
> >
> > 是的
> >
> >> On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote:
> >>
> >> flink hive表的方式是什么意思?hive streaming吗?
> >>
> >> 发自我的iPhone
> >>
> >>>> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道:
> >>>
> >>> Flink filesystem connector 或者 DataStream用flink-orc
> >> 的版本是比较新的版本,所以老版本的ORC读不了。
> >>>
> >>> 建议你用Flink hive表的方式来写orc
> >>>
> >>>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote:
> >>>>
> >>>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。
> >>>>
> >>>> 发自我的iPhone
> >>>>
> >>>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道:
> >>>>>
> >>>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。
> >>>>> 确定这个版本hive写出的数据可以被读取吗?
> >>>>>
> >>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote:
> >>>>>>
> >>>>>> 使用版本是flink 1.11
> >>>>>> Hive 2.1.1
> >>>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?
> >>>>>>
> >>>>>>
> >>>>>>
> >>>>>
> >>>>> --
> >>>>> Best, Jingsong Lee
> >>>>
> >>>
> >>>
> >>> --
> >>> Best, Jingsong Lee
> >>
> >>
> >
> > --
> > Best, Jingsong Lee
>
>

--
Best regards!
Rui Li
Reply | Threaded
Open this post in threaded view
|

Re: flink orc与hive2.1.1版本冲突怎么解决

abc15606
flink table sql把mysql的表数据写到hdfs的路径上,存成orc。hive创建外部表,查询报错。最根本原因是hive2.1是把orc的相关类打包一起的,包名举例,org.apache.hive.orc.xxxx,而且新版的是org.apache.orc.xxxx。

发自我的iPhone

> 在 2020年8月21日,14:37,Rui Li <[hidden email]> 写道:
>
> Hi,
>
> 能不能具体描述一下你的作业是怎么写的?比如怎么创建的hive表,如何把数据写进去之类的。我们可以试试能不能重现你的问题
>
>> On Fri, Aug 21, 2020 at 1:41 PM <[hidden email]> wrote:
>>
>> 试过了,一样的,本质也是通过写文件。
>>
>> 发自我的iPhone
>>
>>>> 在 2020年8月21日,13:35,Jingsong Li <[hidden email]> 写道:
>>>
>>> 是的
>>>
>>>> On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote:
>>>>
>>>> flink hive表的方式是什么意思?hive streaming吗?
>>>>
>>>> 发自我的iPhone
>>>>
>>>>>> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道:
>>>>>
>>>>> Flink filesystem connector 或者 DataStream用flink-orc
>>>> 的版本是比较新的版本,所以老版本的ORC读不了。
>>>>>
>>>>> 建议你用Flink hive表的方式来写orc
>>>>>
>>>>>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote:
>>>>>>
>>>>>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。
>>>>>>
>>>>>> 发自我的iPhone
>>>>>>
>>>>>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道:
>>>>>>>
>>>>>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。
>>>>>>> 确定这个版本hive写出的数据可以被读取吗?
>>>>>>>
>>>>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote:
>>>>>>>>
>>>>>>>> 使用版本是flink 1.11
>>>>>>>> Hive 2.1.1
>>>>>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?
>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>
>>>>>>> --
>>>>>>> Best, Jingsong Lee
>>>>>>
>>>>>
>>>>>
>>>>> --
>>>>> Best, Jingsong Lee
>>>>
>>>>
>>>
>>> --
>>> Best, Jingsong Lee
>>
>>
>
> --
> Best regards!
> Rui Li

Reply | Threaded
Open this post in threaded view
|

Re: flink orc与hive2.1.1版本冲突怎么解决

Rui Li
是说写数据用的是flink的FileSystem connector,然后读数据是用hive自己去读的?具体错误的stacktrace贴一下看看呢

On Fri, Aug 21, 2020 at 3:05 PM <[hidden email]> wrote:

> flink table
> sql把mysql的表数据写到hdfs的路径上,存成orc。hive创建外部表,查询报错。最根本原因是hive2.1是把orc的相关类打包一起的,包名举例,org.apache.hive.orc.xxxx,而且新版的是org.apache.orc.xxxx。
>
> 发自我的iPhone
>
> > 在 2020年8月21日,14:37,Rui Li <[hidden email]> 写道:
> >
> > Hi,
> >
> > 能不能具体描述一下你的作业是怎么写的?比如怎么创建的hive表,如何把数据写进去之类的。我们可以试试能不能重现你的问题
> >
> >> On Fri, Aug 21, 2020 at 1:41 PM <[hidden email]> wrote:
> >>
> >> 试过了,一样的,本质也是通过写文件。
> >>
> >> 发自我的iPhone
> >>
> >>>> 在 2020年8月21日,13:35,Jingsong Li <[hidden email]> 写道:
> >>>
> >>> 是的
> >>>
> >>>> On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote:
> >>>>
> >>>> flink hive表的方式是什么意思?hive streaming吗?
> >>>>
> >>>> 发自我的iPhone
> >>>>
> >>>>>> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道:
> >>>>>
> >>>>> Flink filesystem connector 或者 DataStream用flink-orc
> >>>> 的版本是比较新的版本,所以老版本的ORC读不了。
> >>>>>
> >>>>> 建议你用Flink hive表的方式来写orc
> >>>>>
> >>>>>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote:
> >>>>>>
> >>>>>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。
> >>>>>>
> >>>>>> 发自我的iPhone
> >>>>>>
> >>>>>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道:
> >>>>>>>
> >>>>>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive
> sql写orc是一样的。
> >>>>>>> 确定这个版本hive写出的数据可以被读取吗?
> >>>>>>>
> >>>>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote:
> >>>>>>>>
> >>>>>>>> 使用版本是flink 1.11
> >>>>>>>> Hive 2.1.1
> >>>>>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?
> >>>>>>>>
> >>>>>>>>
> >>>>>>>>
> >>>>>>>
> >>>>>>> --
> >>>>>>> Best, Jingsong Lee
> >>>>>>
> >>>>>
> >>>>>
> >>>>> --
> >>>>> Best, Jingsong Lee
> >>>>
> >>>>
> >>>
> >>> --
> >>> Best, Jingsong Lee
> >>
> >>
> >
> > --
> > Best regards!
> > Rui Li
>
>

--
Best regards!
Rui Li
Reply | Threaded
Open this post in threaded view
|

Re: flink orc与hive2.1.1版本冲突怎么解决

abc15606
在内网,弄不出来。数组业界,在OrcFile$WriterVersion.from(OrcFile.java:145)
目前升级hive到2.3能正常用了,因为从hive2.3开始有独立的orc-core jar了。但是我们用的是CDH,这样子管理不太方便。

发自我的iPhone

> 在 2020年8月21日,16:18,Rui Li <[hidden email]> 写道:
>
> 是说写数据用的是flink的FileSystem connector,然后读数据是用hive自己去读的?具体错误的stacktrace贴一下看看呢
>
>> On Fri, Aug 21, 2020 at 3:05 PM <[hidden email]> wrote:
>>
>> flink table
>> sql把mysql的表数据写到hdfs的路径上,存成orc。hive创建外部表,查询报错。最根本原因是hive2.1是把orc的相关类打包一起的,包名举例,org.apache.hive.orc.xxxx,而且新版的是org.apache.orc.xxxx。
>>
>> 发自我的iPhone
>>
>>>> 在 2020年8月21日,14:37,Rui Li <[hidden email]> 写道:
>>>
>>> Hi,
>>>
>>> 能不能具体描述一下你的作业是怎么写的?比如怎么创建的hive表,如何把数据写进去之类的。我们可以试试能不能重现你的问题
>>>
>>>> On Fri, Aug 21, 2020 at 1:41 PM <[hidden email]> wrote:
>>>>
>>>> 试过了,一样的,本质也是通过写文件。
>>>>
>>>> 发自我的iPhone
>>>>
>>>>>> 在 2020年8月21日,13:35,Jingsong Li <[hidden email]> 写道:
>>>>>
>>>>> 是的
>>>>>
>>>>>> On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote:
>>>>>>
>>>>>> flink hive表的方式是什么意思?hive streaming吗?
>>>>>>
>>>>>> 发自我的iPhone
>>>>>>
>>>>>>>> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道:
>>>>>>>
>>>>>>> Flink filesystem connector 或者 DataStream用flink-orc
>>>>>> 的版本是比较新的版本,所以老版本的ORC读不了。
>>>>>>>
>>>>>>> 建议你用Flink hive表的方式来写orc
>>>>>>>
>>>>>>>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote:
>>>>>>>>
>>>>>>>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。
>>>>>>>>
>>>>>>>> 发自我的iPhone
>>>>>>>>
>>>>>>>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道:
>>>>>>>>>
>>>>>>>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive
>> sql写orc是一样的。
>>>>>>>>> 确定这个版本hive写出的数据可以被读取吗?
>>>>>>>>>
>>>>>>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote:
>>>>>>>>>>
>>>>>>>>>> 使用版本是flink 1.11
>>>>>>>>>> Hive 2.1.1
>>>>>>>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬?
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>
>>>>>>>>> --
>>>>>>>>> Best, Jingsong Lee
>>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> --
>>>>>>> Best, Jingsong Lee
>>>>>>
>>>>>>
>>>>>
>>>>> --
>>>>> Best, Jingsong Lee
>>>>
>>>>
>>>
>>> --
>>> Best regards!
>>> Rui Li
>>
>>
>
> --
> Best regards!
> Rui Li