获取flinksql返回的查询结果

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

获取flinksql返回的查询结果

黑色
请教个问题,我想实现类似sql-cli里功能一样,或者zepplin里的我在页面上编写select * from xxxx,


在页面下面得到返回的结果显示,类似zepplin在开发区写sql,下面的输出区显示返回的结果,这个功能如何实现呢
各位大哥们帮忙看一看?


现在在flinksql上想看结果,还的定义一个with='print',跑到ui页面上去看,太麻烦了
Reply | Threaded
Open this post in threaded view
|

Re: 获取flinksql返回的查询结果

Jeff Zhang
Sink 到内存里,然后你自己处理(print出来还是发送到web前端)
可以参考zeppelin源码 https://github.com/apache/zeppelin/tree/master/flink


黑色 <[hidden email]> 于2021年1月18日周一 下午8:42写道:

> 请教个问题,我想实现类似sql-cli里功能一样,或者zepplin里的我在页面上编写select * from xxxx,
>
>
> 在页面下面得到返回的结果显示,类似zepplin在开发区写sql,下面的输出区显示返回的结果,这个功能如何实现呢
> 各位大哥们帮忙看一看?
>
>
> 现在在flinksql上想看结果,还的定义一个with='print',跑到ui页面上去看,太麻烦了



--
Best Regards

Jeff Zhang
Reply | Threaded
Open this post in threaded view
|

Re: 获取flinksql返回的查询结果

xingoo
In reply to this post by 黑色
最近刚好做了这个功能,基本的原理如Jeff所说,提交到集群后sink到内存。
然后在本地创建socket server,sink到内存的数据直接通过socket传回到本地。

具体做法即可以参考zeppelin,也可以参考sql-client模块的ChangelogCollectStreamResult



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

flink offset自定义存储

zjfplayer@hotmail.com
Hi,
        flink有没有方式自定义偏移量存储,例如存redis等,不使用checkpoint/savepoint等,类似spark streaming的功能:
https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html#your-own-data-store 
       



[hidden email]