Flink新出的OrcBulkWriterFactory有没有大佬给个详细的Demo

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink新出的OrcBulkWriterFactory有没有大佬给个详细的Demo

Shuai Xia
自己在使用时,会有文件生成,但是文件内并不包含数据
Reply | Threaded
Open this post in threaded view
|

Re: Flink新出的OrcBulkWriterFactory有没有大佬给个详细的Demo

Yun Gao
Hello,

    例子的话可以参考一下Flink文档 [1] 和相关的测试case [2] 。

   现在跑的作业有开checkpoint么?另外,这个作业是一个无限数据流的作业还是一个有限数据流的作业?



 [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/connectors/streamfile_sink.html 找Orc Format一节,这个doc页现在格式坏了,社区在修
 [2]  https://github.com/apache/flink/blob/master/flink-formats/flink-orc/src/test/java/org/apache/flink/orc/writer/OrcBulkWriterITCase.java


------------------------------------------------------------------
Sender:夏帅<[hidden email]>
Date:2020/06/08 17:28:08
Recipient:user-zh<[hidden email]>
Theme:Flink新出的OrcBulkWriterFactory有没有大佬给个详细的Demo

自己在使用时,会有文件生成,但是文件内并不包含数据