Flink与MySQL对接相关的问题

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink与MySQL对接相关的问题

Land
大家好!

使用Flink与MySQL对接的过程中,遇到如下的问题:

1.
MySQLCatalog目前未支持,对MySQL中的表进行读写需要先通过DDL进行声明,由于表中的字段比较多,操作起来会比较繁琐。搜查了一遍,发现目前社区对这个支持还没有列入计划。如果可以推动在1.13开发支持该Catalog,那就太好了。
https://issues.apache.org/jira/browse/FLINK-15352
https://issues.apache.org/jira/browse/FLINK-15350

2.不支持针对部分字段的插入更新;
https://issues.apache.org/jira/browse/FLINK-18726

3.大表查询的时候非常慢,例如几百万条记录的表,可能是过滤下推的问题;

4.float类型的字段在UPSERT模式时无法更新。这应该是一个bug。

MySQL使用的范围比较广,如果解决上面的问题,对接Flink将容易很多。
大家有没有一些建议推动一下?

参考:
https://cwiki.apache.org/confluence/display/FLINK/1.13+Release



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: Flink与MySQL对接相关的问题

Land