请教一下Flink和主流数据湖集成的情况

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

请教一下Flink和主流数据湖集成的情况

dixingxing85@163.com
Hi all:
想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢

Sent from my iPhone


Sent from my iPhone
Reply | Threaded
Open this post in threaded view
|

Re: 请教一下Flink和主流数据湖集成的情况

Congxian Qiu
Hi
   据我所知,iceberg 有一个 flink 的 sink,可以看下这个 PR[1]
[1] https://github.com/apache/iceberg/pull/856
Best,
Congxian


dixingxing85 <[hidden email]> 于2020年9月12日周六 下午4:54写道:

> Hi all:
> 想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta
> lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢
>
> Sent from my iPhone
>
>
> Sent from my iPhone
Reply | Threaded
Open this post in threaded view
|

Re: 请教一下Flink和主流数据湖集成的情况

dixingxing85@163.com
谢谢,是的是有iceberg的sink。我看之信在做flink读取iceberg这块的工作,主要想知道下进展和社区未来会重点支持哪个数据湖框架

Sent from my iPhone

> On Sep 14, 2020, at 14:00, Congxian Qiu <[hidden email]> wrote:
>
> Hi
>   据我所知,iceberg 有一个 flink 的 sink,可以看下这个 PR[1]
> [1] https://github.com/apache/iceberg/pull/856
> Best,
> Congxian
>
>
> dixingxing85 <[hidden email]> 于2020年9月12日周六 下午4:54写道:
>
>> Hi all:
>> 想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta
>> lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢
>>
>> Sent from my iPhone
>>
>>
>> Sent from my iPhone
Reply | Threaded
Open this post in threaded view
|

Re: 请教一下Flink和主流数据湖集成的情况

Leonard Xu
Hello

Flink 集成iceberg, iceberg 社区应该有 jingsong 和 openin <mailto:[hidden email]>x 在做,可以直接问下他们。

祝好
Leonard Xu

> 在 2020年9月14日,16:52,dixingxing85 <[hidden email]> 写道:
>
> 谢谢,是的是有iceberg的sink。我看之信在做flink读取iceberg这块的工作,主要想知道下进展和社区未来会重点支持哪个数据湖框架
>
> Sent from my iPhone
>
>> On Sep 14, 2020, at 14:00, Congxian Qiu <[hidden email]> wrote:
>>
>> Hi
>>  据我所知,iceberg 有一个 flink 的 sink,可以看下这个 PR[1]
>> [1] https://github.com/apache/iceberg/pull/856
>> Best,
>> Congxian
>>
>>
>> dixingxing85 <[hidden email]> 于2020年9月12日周六 下午4:54写道:
>>
>>> Hi all:
>>> 想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta
>>> lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢
>>>
>>> Sent from my iPhone
>>>
>>>
>>> Sent from my iPhone

Reply | Threaded
Open this post in threaded view
|

Re: 请教一下Flink和主流数据湖集成的情况

dixingxing85@163.com
好的,谢谢

Sent from my iPhone

> On Sep 15, 2020, at 16:26, Leonard Xu <[hidden email]> wrote:
>
> Hello
>
> Flink 集成iceberg, iceberg 社区应该有 jingsong 和 openin <mailto:[hidden email]>x 在做,可以直接问下他们。
>
> 祝好
> Leonard Xu
>
>> 在 2020年9月14日,16:52,dixingxing85 <[hidden email]> 写道:
>>
>> 谢谢,是的是有iceberg的sink。我看之信在做flink读取iceberg这块的工作,主要想知道下进展和社区未来会重点支持哪个数据湖框架
>>
>> Sent from my iPhone
>>
>>>> On Sep 14, 2020, at 14:00, Congxian Qiu <[hidden email]> wrote:
>>>
>>> Hi
>>> 据我所知,iceberg 有一个 flink 的 sink,可以看下这个 PR[1]
>>> [1] https://github.com/apache/iceberg/pull/856
>>> Best,
>>> Congxian
>>>
>>>
>>> dixingxing85 <[hidden email]> 于2020年9月12日周六 下午4:54写道:
>>>
>>>> Hi all:
>>>> 想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta
>>>> lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢
>>>>
>>>> Sent from my iPhone
>>>>
>>>>
>>>> Sent from my iPhone
>
>