请教大神们关于flink-sql中数据赋值问题

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

请教大神们关于flink-sql中数据赋值问题

site
看了官网的示例,发现sql中传入的值都是固定的,我有一个场景是从kafka消息队列接收查询条件,然后通过flink-sql映射hbase表进行查询并写入结果表。我使用了将消息队列映射表再join数据表的方式,回想一下这种方式很不妥,有什么好的方法实现sql入参的动态查询呢?
Reply | Threaded
Open this post in threaded view
|

Re:请教大神们关于flink-sql中数据赋值问题

hailongwang
Hi si_tianqiang,


自定义 UDF 可以解决你的问题吗?
比如 接收 kakfa 的数据字段定义成 hbaseQuery,然后自定义 UDF 去根据 query 查询数据。


Best,
Hailong Wang




在 2020-11-06 10:41:53,"site" <[hidden email]> 写道:
>看了官网的示例,发现sql中传入的值都是固定的,我有一个场景是从kafka消息队列接收查询条件,然后通过flink-sql映射hbase表进行查询并写入结果表。我使用了将消息队列映射表再join数据表的方式,回想一下这种方式很不妥,有什么好的方法实现sql入参的动态查询呢?
Reply | Threaded
Open this post in threaded view
|

Re:Re:请教大神们关于flink-sql中数据赋值问题

site
目前用的就是流处理方式,在map function中进行的hbaseQuery,但是这种在数据量超大的情况下处理效率太差了,每次来消息都要把hbase数据全部下载一次。<br/>UDF的方式,这两天我在where条件中使用了一下,但是仍不能像处理流那样灵活使用,因为kafka流不能与hbase流进行join,所以只能处理一次流消息,毕竟流在这个场景下是作为条件输入的,感觉用flink-sql在这种场景下比较受限。
在 2020-11-07 02:37:29,"hailongwang" <[hidden email]> 写道:

>Hi si_tianqiang,
>
>
>自定义 UDF 可以解决你的问题吗?
>比如 接收 kakfa 的数据字段定义成 hbaseQuery,然后自定义 UDF 去根据 query 查询数据。
>
>
>Best,
>Hailong Wang
>
>
>
>
>在 2020-11-06 10:41:53,"site" <[hidden email]> 写道:
>>看了官网的示例,发现sql中传入的值都是固定的,我有一个场景是从kafka消息队列接收查询条件,然后通过flink-sql映射hbase表进行查询并写入结果表。我使用了将消息队列映射表再join数据表的方式,回想一下这种方式很不妥,有什么好的方法实现sql入参的动态查询呢?