使用版本是flink 1.11
Hive 2.1.1 flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? |
如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。
确定这个版本hive写出的数据可以被读取吗? On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote: > 使用版本是flink 1.11 > Hive 2.1.1 > flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? > > > -- Best, Jingsong Lee |
Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。
发自我的iPhone > 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道: > > 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。 > 确定这个版本hive写出的数据可以被读取吗? > >> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote: >> >> 使用版本是flink 1.11 >> Hive 2.1.1 >> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? >> >> >> > > -- > Best, Jingsong Lee |
Flink filesystem connector 或者 DataStream用flink-orc 的版本是比较新的版本,所以老版本的ORC读不了。
建议你用Flink hive表的方式来写orc On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote: > Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。 > > 发自我的iPhone > > > 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道: > > > > 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。 > > 确定这个版本hive写出的数据可以被读取吗? > > > >> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote: > >> > >> 使用版本是flink 1.11 > >> Hive 2.1.1 > >> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? > >> > >> > >> > > > > -- > > Best, Jingsong Lee > -- Best, Jingsong Lee |
flink hive表的方式是什么意思?hive streaming吗?
发自我的iPhone > 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道: > > Flink filesystem connector 或者 DataStream用flink-orc 的版本是比较新的版本,所以老版本的ORC读不了。 > > 建议你用Flink hive表的方式来写orc > >> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote: >> >> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。 >> >> 发自我的iPhone >> >>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道: >>> >>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。 >>> 确定这个版本hive写出的数据可以被读取吗? >>> >>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote: >>>> >>>> 使用版本是flink 1.11 >>>> Hive 2.1.1 >>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? >>>> >>>> >>>> >>> >>> -- >>> Best, Jingsong Lee >> > > > -- > Best, Jingsong Lee |
是的
On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote: > flink hive表的方式是什么意思?hive streaming吗? > > 发自我的iPhone > > > 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道: > > > > Flink filesystem connector 或者 DataStream用flink-orc > 的版本是比较新的版本,所以老版本的ORC读不了。 > > > > 建议你用Flink hive表的方式来写orc > > > >> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote: > >> > >> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。 > >> > >> 发自我的iPhone > >> > >>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道: > >>> > >>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。 > >>> 确定这个版本hive写出的数据可以被读取吗? > >>> > >>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote: > >>>> > >>>> 使用版本是flink 1.11 > >>>> Hive 2.1.1 > >>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? > >>>> > >>>> > >>>> > >>> > >>> -- > >>> Best, Jingsong Lee > >> > > > > > > -- > > Best, Jingsong Lee > > -- Best, Jingsong Lee |
试过了,一样的,本质也是通过写文件。
发自我的iPhone > 在 2020年8月21日,13:35,Jingsong Li <[hidden email]> 写道: > > 是的 > >> On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote: >> >> flink hive表的方式是什么意思?hive streaming吗? >> >> 发自我的iPhone >> >>>> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道: >>> >>> Flink filesystem connector 或者 DataStream用flink-orc >> 的版本是比较新的版本,所以老版本的ORC读不了。 >>> >>> 建议你用Flink hive表的方式来写orc >>> >>>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote: >>>> >>>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。 >>>> >>>> 发自我的iPhone >>>> >>>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道: >>>>> >>>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。 >>>>> 确定这个版本hive写出的数据可以被读取吗? >>>>> >>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote: >>>>>> >>>>>> 使用版本是flink 1.11 >>>>>> Hive 2.1.1 >>>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? >>>>>> >>>>>> >>>>>> >>>>> >>>>> -- >>>>> Best, Jingsong Lee >>>> >>> >>> >>> -- >>> Best, Jingsong Lee >> >> > > -- > Best, Jingsong Lee |
Hi,
能不能具体描述一下你的作业是怎么写的?比如怎么创建的hive表,如何把数据写进去之类的。我们可以试试能不能重现你的问题 On Fri, Aug 21, 2020 at 1:41 PM <[hidden email]> wrote: > 试过了,一样的,本质也是通过写文件。 > > 发自我的iPhone > > > 在 2020年8月21日,13:35,Jingsong Li <[hidden email]> 写道: > > > > 是的 > > > >> On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote: > >> > >> flink hive表的方式是什么意思?hive streaming吗? > >> > >> 发自我的iPhone > >> > >>>> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道: > >>> > >>> Flink filesystem connector 或者 DataStream用flink-orc > >> 的版本是比较新的版本,所以老版本的ORC读不了。 > >>> > >>> 建议你用Flink hive表的方式来写orc > >>> > >>>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote: > >>>> > >>>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。 > >>>> > >>>> 发自我的iPhone > >>>> > >>>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道: > >>>>> > >>>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。 > >>>>> 确定这个版本hive写出的数据可以被读取吗? > >>>>> > >>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote: > >>>>>> > >>>>>> 使用版本是flink 1.11 > >>>>>> Hive 2.1.1 > >>>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? > >>>>>> > >>>>>> > >>>>>> > >>>>> > >>>>> -- > >>>>> Best, Jingsong Lee > >>>> > >>> > >>> > >>> -- > >>> Best, Jingsong Lee > >> > >> > > > > -- > > Best, Jingsong Lee > > -- Best regards! Rui Li |
flink table sql把mysql的表数据写到hdfs的路径上,存成orc。hive创建外部表,查询报错。最根本原因是hive2.1是把orc的相关类打包一起的,包名举例,org.apache.hive.orc.xxxx,而且新版的是org.apache.orc.xxxx。
发自我的iPhone > 在 2020年8月21日,14:37,Rui Li <[hidden email]> 写道: > > Hi, > > 能不能具体描述一下你的作业是怎么写的?比如怎么创建的hive表,如何把数据写进去之类的。我们可以试试能不能重现你的问题 > >> On Fri, Aug 21, 2020 at 1:41 PM <[hidden email]> wrote: >> >> 试过了,一样的,本质也是通过写文件。 >> >> 发自我的iPhone >> >>>> 在 2020年8月21日,13:35,Jingsong Li <[hidden email]> 写道: >>> >>> 是的 >>> >>>> On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote: >>>> >>>> flink hive表的方式是什么意思?hive streaming吗? >>>> >>>> 发自我的iPhone >>>> >>>>>> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道: >>>>> >>>>> Flink filesystem connector 或者 DataStream用flink-orc >>>> 的版本是比较新的版本,所以老版本的ORC读不了。 >>>>> >>>>> 建议你用Flink hive表的方式来写orc >>>>> >>>>>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote: >>>>>> >>>>>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。 >>>>>> >>>>>> 发自我的iPhone >>>>>> >>>>>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道: >>>>>>> >>>>>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive sql写orc是一样的。 >>>>>>> 确定这个版本hive写出的数据可以被读取吗? >>>>>>> >>>>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote: >>>>>>>> >>>>>>>> 使用版本是flink 1.11 >>>>>>>> Hive 2.1.1 >>>>>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? >>>>>>>> >>>>>>>> >>>>>>>> >>>>>>> >>>>>>> -- >>>>>>> Best, Jingsong Lee >>>>>> >>>>> >>>>> >>>>> -- >>>>> Best, Jingsong Lee >>>> >>>> >>> >>> -- >>> Best, Jingsong Lee >> >> > > -- > Best regards! > Rui Li |
是说写数据用的是flink的FileSystem connector,然后读数据是用hive自己去读的?具体错误的stacktrace贴一下看看呢
On Fri, Aug 21, 2020 at 3:05 PM <[hidden email]> wrote: > flink table > sql把mysql的表数据写到hdfs的路径上,存成orc。hive创建外部表,查询报错。最根本原因是hive2.1是把orc的相关类打包一起的,包名举例,org.apache.hive.orc.xxxx,而且新版的是org.apache.orc.xxxx。 > > 发自我的iPhone > > > 在 2020年8月21日,14:37,Rui Li <[hidden email]> 写道: > > > > Hi, > > > > 能不能具体描述一下你的作业是怎么写的?比如怎么创建的hive表,如何把数据写进去之类的。我们可以试试能不能重现你的问题 > > > >> On Fri, Aug 21, 2020 at 1:41 PM <[hidden email]> wrote: > >> > >> 试过了,一样的,本质也是通过写文件。 > >> > >> 发自我的iPhone > >> > >>>> 在 2020年8月21日,13:35,Jingsong Li <[hidden email]> 写道: > >>> > >>> 是的 > >>> > >>>> On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote: > >>>> > >>>> flink hive表的方式是什么意思?hive streaming吗? > >>>> > >>>> 发自我的iPhone > >>>> > >>>>>> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道: > >>>>> > >>>>> Flink filesystem connector 或者 DataStream用flink-orc > >>>> 的版本是比较新的版本,所以老版本的ORC读不了。 > >>>>> > >>>>> 建议你用Flink hive表的方式来写orc > >>>>> > >>>>>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote: > >>>>>> > >>>>>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。 > >>>>>> > >>>>>> 发自我的iPhone > >>>>>> > >>>>>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道: > >>>>>>> > >>>>>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive > sql写orc是一样的。 > >>>>>>> 确定这个版本hive写出的数据可以被读取吗? > >>>>>>> > >>>>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote: > >>>>>>>> > >>>>>>>> 使用版本是flink 1.11 > >>>>>>>> Hive 2.1.1 > >>>>>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? > >>>>>>>> > >>>>>>>> > >>>>>>>> > >>>>>>> > >>>>>>> -- > >>>>>>> Best, Jingsong Lee > >>>>>> > >>>>> > >>>>> > >>>>> -- > >>>>> Best, Jingsong Lee > >>>> > >>>> > >>> > >>> -- > >>> Best, Jingsong Lee > >> > >> > > > > -- > > Best regards! > > Rui Li > > -- Best regards! Rui Li |
在内网,弄不出来。数组业界,在OrcFile$WriterVersion.from(OrcFile.java:145)
目前升级hive到2.3能正常用了,因为从hive2.3开始有独立的orc-core jar了。但是我们用的是CDH,这样子管理不太方便。 发自我的iPhone > 在 2020年8月21日,16:18,Rui Li <[hidden email]> 写道: > > 是说写数据用的是flink的FileSystem connector,然后读数据是用hive自己去读的?具体错误的stacktrace贴一下看看呢 > >> On Fri, Aug 21, 2020 at 3:05 PM <[hidden email]> wrote: >> >> flink table >> sql把mysql的表数据写到hdfs的路径上,存成orc。hive创建外部表,查询报错。最根本原因是hive2.1是把orc的相关类打包一起的,包名举例,org.apache.hive.orc.xxxx,而且新版的是org.apache.orc.xxxx。 >> >> 发自我的iPhone >> >>>> 在 2020年8月21日,14:37,Rui Li <[hidden email]> 写道: >>> >>> Hi, >>> >>> 能不能具体描述一下你的作业是怎么写的?比如怎么创建的hive表,如何把数据写进去之类的。我们可以试试能不能重现你的问题 >>> >>>> On Fri, Aug 21, 2020 at 1:41 PM <[hidden email]> wrote: >>>> >>>> 试过了,一样的,本质也是通过写文件。 >>>> >>>> 发自我的iPhone >>>> >>>>>> 在 2020年8月21日,13:35,Jingsong Li <[hidden email]> 写道: >>>>> >>>>> 是的 >>>>> >>>>>> On Fri, Aug 21, 2020 at 1:30 PM <[hidden email]> wrote: >>>>>> >>>>>> flink hive表的方式是什么意思?hive streaming吗? >>>>>> >>>>>> 发自我的iPhone >>>>>> >>>>>>>> 在 2020年8月21日,13:27,Jingsong Li <[hidden email]> 写道: >>>>>>> >>>>>>> Flink filesystem connector 或者 DataStream用flink-orc >>>>>> 的版本是比较新的版本,所以老版本的ORC读不了。 >>>>>>> >>>>>>> 建议你用Flink hive表的方式来写orc >>>>>>> >>>>>>>> On Fri, Aug 21, 2020 at 12:25 PM <[hidden email]> wrote: >>>>>>>> >>>>>>>> Flink是指定orc版本的,并没有用hive的。所以写进去之后,hive读不出来。 >>>>>>>> >>>>>>>> 发自我的iPhone >>>>>>>> >>>>>>>>>> 在 2020年8月21日,12:15,Jingsong Li <[hidden email]> 写道: >>>>>>>>> >>>>>>>>> 如果是hive table的写,flink sql是使用hive对应版本的orc的,所以理论上效果和hive >> sql写orc是一样的。 >>>>>>>>> 确定这个版本hive写出的数据可以被读取吗? >>>>>>>>> >>>>>>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[hidden email]> wrote: >>>>>>>>>> >>>>>>>>>> 使用版本是flink 1.11 >>>>>>>>>> Hive 2.1.1 >>>>>>>>>> flink sql写到orc后,创建外部表发现无法正常读取,这个怎么解决,各位大佬? >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> >>>>>>>>> >>>>>>>>> -- >>>>>>>>> Best, Jingsong Lee >>>>>>>> >>>>>>> >>>>>>> >>>>>>> -- >>>>>>> Best, Jingsong Lee >>>>>> >>>>>> >>>>> >>>>> -- >>>>> Best, Jingsong Lee >>>> >>>> >>> >>> -- >>> Best regards! >>> Rui Li >> >> > > -- > Best regards! > Rui Li |
Free forum by Nabble | Edit this page |