pyflink-udaf

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

pyflink-udaf

消息室
您好:      我们项目组计划使用pyflink的udaf对数据进行聚合处理,拜读社区文章得知,对于批处理方式或窗口式聚合,建议使用Vectorized Aggregate Functions。但此case提供的代码不完全,不是完整的case,
自己编写测试程序报错:"org.apache.flink.table.api.ValidationException: Undefined function: weighted_avg"
      请问能否提供一个完整的pyflink的udaf对数据进行聚合处理示例,多谢!!!




      
Reply | Threaded
Open this post in threaded view
|

Re: pyflink-udaf

Xingbo Huang
Hi,

你好,事例已经提供了UDF的注册和使用,只剩下数据源的读取和输出没有提供(这有单独的部分来讲)。
关于你的报错,因为你没有提供具体咋使用的,只能猜测你没有按照示例使用DSL的方式,而是使用的字符串的方式,但却没有register函数导致报了这个错

Best,
Xingbo

消息室 <[hidden email]> 于2021年1月4日周一 下午8:10写道:

> 您好:&nbsp; &nbsp; &nbsp;
> 我们项目组计划使用pyflink的udaf对数据进行聚合处理,拜读社区文章得知,对于批处理方式或窗口式聚合,建议使用Vectorized
> Aggregate Functions。但此case提供的代码不完全,不是完整的case,
> 自己编写测试程序报错:"org.apache.flink.table.api.ValidationException: Undefined
> function: weighted_avg"
> &nbsp; &nbsp; &nbsp; 请问能否提供一个完整的pyflink的udaf对数据进行聚合处理示例,多谢!!!
>
>
>
>
> &nbsp; &nbsp; &nbsp;&nbsp;