社区有人实现过Flink的MongodbSource吗？

[Evan]

有人完整的实现Flink的MongodbSource吗
如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化

[Paul Lam]

Hi,

Debezium 支持 MongoDB CDC[1]，可以了解下。

[1] https://debezium.io/documentation/reference/connectors/mongodb.html

Best,
Paul Lam

> 2021年2月24日 16:23，Evan <[hidden email]> 写道：
>
>
> 有人完整的实现Flink的MongodbSource吗
> 如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
>
>

[Evan]

好的，十分感谢，我调研一下，之前网上搜了一些资料，实现的只能批量读取，读完程序就停止了，不能一直实时的增量读取



 
发件人： Paul Lam
发送时间： 2021-02-24 17:03
收件人： user-zh
主题： Re: 社区有人实现过Flink的MongodbSource吗？
Hi,
 
Debezium 支持 MongoDB CDC[1]，可以了解下。
 
[1] https://debezium.io/documentation/reference/connectors/mongodb.html
 
Best,
Paul Lam
 
> 2021年2月24日 16:23，Evan <[hidden email]> 写道：
>
>
> 有人完整的实现Flink的MongodbSource吗
> 如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
>
>
 

[林影]

请问flink的mongodb connector这块后续有计划吗

Evan <[hidden email]> 于2021年2月24日周三 下午5:08写道：

> 好的，十分感谢，我调研一下，之前网上搜了一些资料，实现的只能批量读取，读完程序就停止了，不能一直实时的增量读取
>
>
>
>
> 发件人： Paul Lam
> 发送时间： 2021-02-24 17:03
> 收件人： user-zh
> 主题： Re: 社区有人实现过Flink的MongodbSource吗？
> Hi,
>
> Debezium 支持 MongoDB CDC[1]，可以了解下。
>
> [1] https://debezium.io/documentation/reference/connectors/mongodb.html
>
> Best,
> Paul Lam
>
> > 2021年2月24日 16:23，Evan <[hidden email]> 写道：
> >
> >
> > 有人完整的实现Flink的MongodbSource吗
> > 如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
> >
> >
>
>

[Paul Lam]

据我所知暂时没有。不过我所在公司内部有很多 mongodb 使用，因此我们也有计划开发 mongodb connector（主要是作为 sink）。
之前因为等 FLIP-143 新接口搁置了一下计划，最近可以重启。

如果顺利的话，我们预计放到 bahir 上或贡献给 mongo 社区（考虑到 flink 社区现在对新增 connector 到主 repo 比较谨慎）。

Best,
Paul Lam

> 2021年2月24日 18:16，林影 <[hidden email]> 写道：
>
> 请问flink的mongodb connector这块后续有计划吗
>
> Evan <[hidden email]> 于2021年2月24日周三 下午5:08写道：
>
>> 好的，十分感谢，我调研一下，之前网上搜了一些资料，实现的只能批量读取，读完程序就停止了，不能一直实时的增量读取
>>
>>
>>
>>
>> 发件人： Paul Lam
>> 发送时间： 2021-02-24 17:03
>> 收件人： user-zh
>> 主题： Re: 社区有人实现过Flink的MongodbSource吗？
>> Hi,
>>
>> Debezium 支持 MongoDB CDC[1]，可以了解下。
>>
>> [1] https://debezium.io/documentation/reference/connectors/mongodb.html
>>
>> Best,
>> Paul Lam
>>
>>> 2021年2月24日 16:23，Evan <[hidden email]> 写道：
>>>
>>>
>>> 有人完整的实现Flink的MongodbSource吗
>>> 如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
>>>
>>>
>>
>>

[Paul Lam]

Hi Even,

我没有实际使用过，不过根据 Debezium 文档 [1] 和我了解到的用户反馈，存量读取和实时增量读取都是支持的。

[1] https://debezium.io/documentation/reference/connectors/mongodb.html#mongodb-streaming-changes

Best,
Paul Lam

> 2021年2月24日 17:08，Evan <[hidden email]> 写道：
>
> 好的，十分感谢，我调研一下，之前网上搜了一些资料，实现的只能批量读取，读完程序就停止了，不能一直实时的增量读取
>
>
>
>
> 发件人： Paul Lam
> 发送时间： 2021-02-24 17:03
> 收件人： user-zh
> 主题： Re: 社区有人实现过Flink的MongodbSource吗？
> Hi,
>
> Debezium 支持 MongoDB CDC[1]，可以了解下。
>
> [1] https://debezium.io/documentation/reference/connectors/mongodb.html
>
> Best,
> Paul Lam
>
>> 2021年2月24日 16:23，Evan <[hidden email]> 写道：
>>
>>
>> 有人完整的实现Flink的MongodbSource吗
>> 如题，现在有一个需求，需要Flink能实时读取MongoDB中数据变化
>>
>>
>