Orc文件问题请教

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

Orc文件问题请教

abc15606
使用flink sql写到orc文件,以后,flink能读取出来,但是spark和hive均不能读取出来,impala能读取。

发自我的iPhone
Reply | Threaded
Open this post in threaded view
|

Re: Orc文件问题请教

Jingsong Li
你可以贴下异常栈,
估计是ORC版本问题,如果你用file system的orc writer,那是比较新的版本。
建议你用下Hive的表来写,这样你可以选版本。

Best,
Jingsong

On Thu, Aug 20, 2020 at 12:10 PM <[hidden email]> wrote:

> 使用flink sql写到orc文件,以后,flink能读取出来,但是spark和hive均不能读取出来,impala能读取。
>
> 发自我的iPhone



--
Best, Jingsong Lee
Reply | Threaded
Open this post in threaded view
|

Re: Orc文件问题请教

abc15606
已经找到原因了,hive on spark情况下,hive读取不了orc

发自我的iPhone

> 在 2020年8月20日,14:50,Jingsong Li <[hidden email]> 写道:
>
> 你可以贴下异常栈,
> 估计是ORC版本问题,如果你用file system的orc writer,那是比较新的版本。
> 建议你用下Hive的表来写,这样你可以选版本。
>
> Best,
> Jingsong
>
>> On Thu, Aug 20, 2020 at 12:10 PM <[hidden email]> wrote:
>>
>> 使用flink sql写到orc文件,以后,flink能读取出来,但是spark和hive均不能读取出来,impala能读取。
>>
>> 发自我的iPhone
>
>
>
> --
> Best, Jingsong Lee