Apache Flink 中文用户邮件列表
Search
everywhere
only in this topic
Advanced Search
flink 小文件合并及分区没数据无法提交问题
Classic
List
Threaded
♦
♦
Locked
1 message
kandy.wang
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
flink 小文件合并及分区没数据无法提交问题
1.flink 小文件合并
测试下来发现,同一分区在不同时期去查询数据量不断增长,直到分区下所有的文件都compact完成,才定下来 ? 这个是什么原因。目前看起来像是分区提交没有等到分区下所有文件compact完成
2. 某些分区没数据时无法触发分区提交问题
我们实现了自定分区提交策略,为了通知离线下游。这样如果分区没数据,不能提交的话,就会把下游调度hang住。这种问题,怎么解决
Free forum by Nabble
Edit this page