百亿数据,flink如何更好运行

classic Classic list List threaded Threaded
1 message Options
kcz
Reply | Threaded
Open this post in threaded view
|

百亿数据,flink如何更好运行

kcz
请教一下,es有百亿数据,现在需要对接过来分析,flink写入hdfs时候可以使用setBatchSiz 指定大小,如果直接写入hive,如何来解决小文件问题。