flink-1.10.1 想用 DDL 入 ES5.6

classic Classic list List threaded Threaded
7 messages Options
kcz
Reply | Threaded
Open this post in threaded view
|

flink-1.10.1 想用 DDL 入 ES5.6

kcz
查看了文档之后,DDL只支持ES6以上,如果我想ES5也用,我需要从哪里着手修改下,使得它可以支持呢。ES5版本目前无法进行升级,很长一段时间内都无法进行升级。
Reply | Threaded
Open this post in threaded view
|

Re: flink-1.10.1 想用 DDL 入 ES5.6

Leonard Xu
Hi,
ES5 没有SQL jar,所以不支持,可以参考[1]  支持ES6 的sql connector 的实现,这是在1.11里支持的。

Best
Leonard Xu
[1] https://issues.apache.org/jira/browse/FLINK-1 <https://issues.apache.org/jira/browse/FLINK-1>7027

> 在 2020年8月11日,11:18,kcz <[hidden email]> 写道:
>
> 查看了文档之后,DDL只支持ES6以上,如果我想ES5也用,我需要从哪里着手修改下,使得它可以支持呢。ES5版本目前无法进行升级,很长一段时间内都无法进行升级。

kcz
Reply | Threaded
Open this post in threaded view
|

Re: flink-1.10.1 想用 DDL 入 ES5.6

kcz
查看您说的[1]的url之后,发现里面并没有跟 es sql jar有关的。



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink-1.10.1 想用 DDL 入 ES5.6

Leonard Xu
Hi,
我贴的链接里有对应的PR[1], 你可以看看这个PR里的代码,代码入口可以从 Elasticsearch6DynamicSink.java <https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3f> 开始
比如你自己实现了Elasticsearch5DynamicSink <https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3f> 一套后,再打一个 es5 的sql jar 就好了。

祝好
Leonard
[1] https://github.com/apache/flink/pull/12184 <https://github.com/apache/flink/pull/12184>


> 在 2020年8月14日,10:14,kcz <[hidden email]> 写道:
>
> 查看您说的[1]的url之后,发现里面并没有跟 es sql jar有关的。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

kcz
Reply | Threaded
Open this post in threaded view
|

回复:flink-1.10.1 想用 DDL 入 ES5.6

kcz
谢谢大佬 我先研究研究





------------------ 原始邮件 ------------------
发件人: Leonard Xu <[hidden email]&gt;
发送时间: 2020年8月14日 10:25
收件人: user-zh <[hidden email]&gt;
主题: 回复:flink-1.10.1 想用 DDL 入 ES5.6



Hi,
我贴的链接里有对应的PR[1], 你可以看看这个PR里的代码,代码入口可以从 Elasticsearch6DynamicSink.java <https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3f&gt; 开始
比如你自己实现了Elasticsearch5DynamicSink <https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3f&gt; 一套后,再打一个 es5 的sql jar 就好了。

祝好
Leonard
[1] https://github.com/apache/flink/pull/12184 <https://github.com/apache/flink/pull/12184&gt;


&gt; 在 2020年8月14日,10:14,kcz <[hidden email]&gt; 写道:
&gt;
&gt; 查看您说的[1]的url之后,发现里面并没有跟 es sql jar有关的。
&gt;
&gt;
&gt;
&gt; --
&gt; Sent from: http://apache-flink.147419.n8.nabble.com/
kcz
Reply | Threaded
Open this post in threaded view
|

回复:flink-1.10.1 想用 DDL 入 ES5.6

kcz
有一个小问题比较好奇,当时社区为什么没有提供ES5的sql功能,是处于什么考虑吗?因为已经提供了ES5 sinK的connect。
------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "kcz"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年8月17日(星期一) 上午8:34
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;回复:flink-1.10.1 想用 DDL 入 ES5.6



谢谢大佬 我先研究研究





------------------ 原始邮件 ------------------
发件人: Leonard Xu <[hidden email]&gt;
发送时间: 2020年8月14日 10:25
收件人: user-zh <[hidden email]&gt;
主题: 回复:flink-1.10.1 想用 DDL 入 ES5.6



Hi,
我贴的链接里有对应的PR[1], 你可以看看这个PR里的代码,代码入口可以从 Elasticsearch6DynamicSink.java <https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3f&gt; 开始
比如你自己实现了Elasticsearch5DynamicSink <https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3f&gt; 一套后,再打一个 es5 的sql jar 就好了。

祝好
Leonard
[1] https://github.com/apache/flink/pull/12184 <https://github.com/apache/flink/pull/12184&gt;


&gt; 在 2020年8月14日,10:14,kcz <[hidden email]&gt; 写道:
&gt;
&gt; 查看您说的[1]的url之后,发现里面并没有跟 es sql jar有关的。
&gt;
&gt;
&gt;
&gt; --
&gt; Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink-1.10.1 想用 DDL 入 ES5.6

Yangze Guo
社区已经在考虑废弃es5的支持了

Best,
Yangze Guo

On Mon, Aug 17, 2020 at 5:38 PM kcz <[hidden email]> wrote:

>
> 有一个小问题比较好奇,当时社区为什么没有提供ES5的sql功能,是处于什么考虑吗?因为已经提供了ES5 sinK的connect。
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:                                                                                                                        "kcz"                                                                                    <[hidden email]&gt;;
> 发送时间:&nbsp;2020年8月17日(星期一) 上午8:34
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;回复:flink-1.10.1 想用 DDL 入 ES5.6
>
>
>
> 谢谢大佬 我先研究研究
>
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: Leonard Xu <[hidden email]&gt;
> 发送时间: 2020年8月14日 10:25
> 收件人: user-zh <[hidden email]&gt;
> 主题: 回复:flink-1.10.1 想用 DDL 入 ES5.6
>
>
>
> Hi,
> 我贴的链接里有对应的PR[1], 你可以看看这个PR里的代码,代码入口可以从 Elasticsearch6DynamicSink.java <https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3f&gt; 开始
> 比如你自己实现了Elasticsearch5DynamicSink <https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3f&gt; 一套后,再打一个 es5 的sql jar 就好了。
>
> 祝好
> Leonard
> [1] https://github.com/apache/flink/pull/12184 <https://github.com/apache/flink/pull/12184&gt;
>
>
> &gt; 在 2020年8月14日,10:14,kcz <[hidden email]&gt; 写道:
> &gt;
> &gt; 查看您说的[1]的url之后,发现里面并没有跟 es sql jar有关的。
> &gt;
> &gt;
> &gt;
> &gt; --
> &gt; Sent from: http://apache-flink.147419.n8.nabble.com/