获取每个Operator输入输出的数据条数

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

获取每个Operator输入输出的数据条数

王佩
有如下Pipeline:
     
        Kafka Source=>Map=>Filter=>StreamingFileSink.forBulkFormat

希望实现:

       每次写入文件时,拿到这个Pipeline当前批次每个Operator输入、输出的数据条数并写到Mysql。
     
      请教一下,可以实现吗。感谢。


Reply | Threaded
Open this post in threaded view
|

Re: 获取每个Operator输入输出的数据条数

越张
可以自己加状态统计

> 在 2019年7月16日,下午4:34,王佩 <[hidden email]> 写道:
>
> 有如下Pipeline:
>
>        Kafka Source=>Map=>Filter=>StreamingFileSink.forBulkFormat
>
> 希望实现:
>
>       每次写入文件时,拿到这个Pipeline当前批次每个Operator输入、输出的数据条数并写到Mysql。
>
>      请教一下,可以实现吗。感谢。
>
>