请教 flink 如何读取存放于 hdfs 的 lzo 压缩文件?

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

请教 flink 如何读取存放于 hdfs 的 lzo 压缩文件?

Kevin Liao
Hi, ALL

现在想讲过去的一组 mr 程序迁移到 flink 平台,原始日志存储在 hdfs 上,以 lzo 压缩,想读取成一个 datastream 处理,看到
StreamExecutionEnvironment.readFile(FileInputFormat<OUT> inputFormat, String
filePath), 这个方法似乎符合要求,但是 lzo 的解压应该用哪个包呢?

google 没有找到什么明确的线索

请教各位,谢谢