数据预览

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

数据预览

forideal
你好,我的朋友


       最近我看 Flink doc 中的文档中有了如下 connector
      DataGen
      Print
      BlackHole
       这大大的方便了开发和调试。不过,我还是不太满足,想了解一下数据预览相关的做法。
       比如我想,如果我有一个 Flink 的 `driver` ,然后,我使用这个 driver 提交一条 SQL,我从 ResultSet 中获取数据。这样又可以大大的方面我们的 Flink SQL 开发者。
       在社区中,我已经体验了 Apache Zeppelin ,他可以让我提交 Flink SQL,然后在页面上面等待刷新的结果,但是 Zeppelin 目前不能很好的集成到我们的 Flink web IDE 中。想了解一下如何实现数据预览。


   Best forideal
Reply | Threaded
Open this post in threaded view
|

Re: 数据预览

Jeff Zhang
Apache Zeppelin有自己的rest api,你可以用rest api来提交flink sql
以及拿sql结果,目前Zeppelin社区正在做一个Client API (Zeppelin SDK),
用户可以更加方便的调用Zeppelin的功能。具体可以参考
https://issues.apache.org/jira/browse/ZEPPELIN-4981

这里有Sample code 可以参考
https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L298

对于Flink on Zeppelin感兴趣的,可以加入钉钉群:32803524



forideal <[hidden email]> 于2020年8月1日周六 下午7:49写道:

> 你好,我的朋友
>
>
>        最近我看 Flink doc 中的文档中有了如下 connector
>       DataGen
>       Print
>       BlackHole
>        这大大的方便了开发和调试。不过,我还是不太满足,想了解一下数据预览相关的做法。
>        比如我想,如果我有一个 Flink 的 `driver` ,然后,我使用这个 driver 提交一条 SQL,我从 ResultSet
> 中获取数据。这样又可以大大的方面我们的 Flink SQL 开发者。
>        在社区中,我已经体验了 Apache Zeppelin ,他可以让我提交 Flink SQL,然后在页面上面等待刷新的结果,但是
> Zeppelin 目前不能很好的集成到我们的 Flink web IDE 中。想了解一下如何实现数据预览。
>
>
>    Best forideal



--
Best Regards

Jeff Zhang
Reply | Threaded
Open this post in threaded view
|

Re: 数据预览

godfrey he
如果你想在client端拿到query的结果做preview的话,目前API层面支持直接collect或者print执行结果,可以参考 [1]

[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/queries.html#execute-a-query

Jeff Zhang <[hidden email]> 于2020年8月1日周六 下午11:01写道:

> Apache Zeppelin有自己的rest api,你可以用rest api来提交flink sql
> 以及拿sql结果,目前Zeppelin社区正在做一个Client API (Zeppelin SDK),
> 用户可以更加方便的调用Zeppelin的功能。具体可以参考
> https://issues.apache.org/jira/browse/ZEPPELIN-4981
>
> 这里有Sample code 可以参考
>
> https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L298
>
> 对于Flink on Zeppelin感兴趣的,可以加入钉钉群:32803524
>
>
>
> forideal <[hidden email]> 于2020年8月1日周六 下午7:49写道:
>
> > 你好,我的朋友
> >
> >
> >        最近我看 Flink doc 中的文档中有了如下 connector
> >       DataGen
> >       Print
> >       BlackHole
> >        这大大的方便了开发和调试。不过,我还是不太满足,想了解一下数据预览相关的做法。
> >        比如我想,如果我有一个 Flink 的 `driver` ,然后,我使用这个 driver 提交一条 SQL,我从
> ResultSet
> > 中获取数据。这样又可以大大的方面我们的 Flink SQL 开发者。
> >        在社区中,我已经体验了 Apache Zeppelin ,他可以让我提交 Flink SQL,然后在页面上面等待刷新的结果,但是
> > Zeppelin 目前不能很好的集成到我们的 Flink web IDE 中。想了解一下如何实现数据预览。
> >
> >
> >    Best forideal
>
>
>
> --
> Best Regards
>
> Jeff Zhang
>