Streaming File Sink 不能生成 _SUCCESS 标记文件

[highfei2011-2]

Hi，各位好！
      目前遇到一个问题，在使用 FLink -1.11.0 消费 Kafka 数据后，使用 Streaming File Sink 的 BucketAssigner 的分桶策略 sink 到 hdfs ，默认没有生成 _SUCCESS 标记文件。
      我在配置中新增了
val hadoopConf = new Configuration()
hadoopConf.set(FileOutputCommitter.SUCCESSFUL_JOB_OUTPUT_DIR_MARKER, "true”)    


但是输出目录里，还是没有 _SUCCESS 文件，麻烦帮出出主意呢，再次谢谢各位！


Best,
Yang

[kandy.wang]

加上这个参数'sink.partition-commit.policy.kind'='metastore,success-file'

这个应该是可以work的


在 2020-09-16 15:01:35，"highfei2011" <[hidden email]> 写道：

>Hi，各位好！
>      目前遇到一个问题，在使用 FLink -1.11.0 消费 Kafka 数据后，使用 Streaming File Sink 的 BucketAssigner 的分桶策略 sink 到 hdfs ，默认没有生成 _SUCCESS 标记文件。
>      我在配置中新增了
>val hadoopConf = new Configuration()
>hadoopConf.set(FileOutputCommitter.SUCCESSFUL_JOB_OUTPUT_DIR_MARKER, "true”)    
>
>
>但是输出目录里，还是没有 _SUCCESS 文件，麻烦帮出出主意呢，再次谢谢各位！
>
>
>Best,
>Yang

[Xavier]

Hi highfei,
    你的通过Streaming file sink写success 文件的问题解决了吗



--
Sent from: http://apache-flink.147419.n8.nabble.com/