使用StreamingFileSink或者BucketingSink写入HDFS 问题请教

[九思]

请教老师，使用StreamingFileSink或者BucketingSink写入HDFS。

1、在本地，当掐掉程序的时候，文件状态还是in-process状态，不会转为正式文件，这个要怎么处理呢？

2、重启程序开始后，编号又从0开始，而不是从之前的编号继续。看了源码，是有去获取之前的编号。但是我断点查了，没获取到，是什么原因呢？

 

3、数据写入hdfs，查看文件大小，每次都显示只有1672字节。实际不止这些，已经很大了。用命令查看，数据一直在不断的写入。下载下来，已经有100k，但是在hdfs上，显示的一直都是1672字节。是因为句柄没关系嘛？要怎么设置呢？还是其他原因，谢谢。

[徐嘉培]

请问您第一个问题是如何解决呢



在 2019-07-18 11:15:49，"九思" <[hidden email]> 写道：

请教老师，使用StreamingFileSink或者BucketingSink写入HDFS。
1、在本地，当掐掉程序的时候，文件状态还是in-process状态，不会转为正式文件，这个要怎么处理呢？
2、重启程序开始后，编号又从0开始，而不是从之前的编号继续。看了源码，是有去获取之前的编号。但是我断点查了，没获取到，是什么原因呢？
 


3、数据写入hdfs，查看文件大小，每次都显示只有1672字节。实际不止这些，已经很大了。用命令查看，数据一直在不断的写入。下载下来，已经有100k，但是在hdfs上，显示的一直都是1672字节。是因为句柄没关系嘛？要怎么设置呢？还是其他原因，谢谢。