Flink ORC 读取问题

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink ORC 读取问题

163-2
Flink版本为1.9.0,基于OrcTableSource进行ORC文件的读取,碰到一个问题,程序没有任何异常,顺利执行完毕,但又部分字段读出来始终为null,但实际是有值得,通过直接读取文件的方式可以读取到全部字段。


请问大家是否有什么好的建议,谢谢!

Reply | Threaded
Open this post in threaded view
|

Re: Flink ORC 读取问题

Terry Wang
能否起一个本地程序,设置断点,看看读取数据那块儿逻辑是不是有问题
Best,
Terry Wang



> 在 2019年9月23日,下午5:11,ShuQi <[hidden email]> 写道:
>
> Flink版本为1.9.0,基于OrcTableSource进行ORC文件的读取,碰到一个问题,程序没有任何异常,顺利执行完毕,但又部分字段读出来始终为null,但实际是有值得,通过直接读取文件的方式可以读取到全部字段。
>
>
> 请问大家是否有什么好的建议,谢谢!
>

Reply | Threaded
Open this post in threaded view
|

Re: Flink ORC 读取问题

163-2
Terry Wang:

        通过本地调试,发现Flink orc connector没有问题,是我们自己的schema中有部分字段有大小写,所以在匹配的时候没有匹配到,谢谢!

Qi Shu



> 在 2019年9月24日,上午11:01,Terry Wang <[hidden email]> 写道:
>
> 能否起一个本地程序,设置断点,看看读取数据那块儿逻辑是不是有问题
> Best,
> Terry Wang
>
>
>
>> 在 2019年9月23日,下午5:11,ShuQi <[hidden email]> 写道:
>>
>> Flink版本为1.9.0,基于OrcTableSource进行ORC文件的读取,碰到一个问题,程序没有任何异常,顺利执行完毕,但又部分字段读出来始终为null,但实际是有值得,通过直接读取文件的方式可以读取到全部字段。
>>
>>
>> 请问大家是否有什么好的建议,谢谢!
>>
>