FLINK WEEKLY 2019/37

[tison]

FLINK WEEKLY 2019/37 <https://zhuanlan.zhihu.com/p/82657420>

中秋节快乐呀 >_<

这里依旧是小 tison 跟大家分享上周 FLINK 的新进展，主要包括 USER 列表的用户问题，社区开发的最新状态和 1.8.2 版本的发布。
USER

多个keyBy时，只有最后一个超作用吗?
<https://lists.apache.org/x/thread.html/778fc353602525993ca9813af09d2a4e8e555ef4d7b07faf5a218560@%3Cuser-zh.flink.apache.org%3E>

确实如此，回复同时给出了想要针对不同 key 做复杂分组的一种可能的解决方案

Kafka 与 extractly-once
<https://lists.apache.org/x/thread.html/e4fc8d9c2092e5af743f3c1f222f3004bd9efac329acf34159ba2e1d@%3Cuser-zh.flink.apache.org%3E>
回复：Kafka
与 extractly-once
<https://lists.apache.org/x/thread.html/9973126f1deec91e87a552c9c53979c4276733f297fb739e11cf4090@%3Cuser-zh.flink.apache.org%3E>

常见问题，FLINK 保证自己框架内部的数据消费是 Exactly-Once 的，如果要和 Kafka 等外部系统实现整个 pipeline 的
Exactly-Once，需要使用额外的支持，例如 Kafka 的事务功能等

Flink大state读取磁盘，磁盘IO打满，任务相互影响的问题探讨
<https://lists.apache.org/x/thread.html/bea276d69a49212619e846ef5f9b132b2d4265de635922316993b9eb@%3Cuser-zh.flink.apache.org%3E>

Wesley Peng 提供了一种调优 RocksDB 的手法和思路

编译flink 1.9 flink-table-api-java 编译不过
<https://lists.apache.org/x/thread.html/45cb35f36835a825a03fd86f82113c66a41d486521de045473a746e3@%3Cuser-zh.flink.apache.org%3E>

问题本身和 FLINK 关系不大，是 JDK 的 bug 导致的，升级 JDK 的小版本可修复

Will there be a Flink 1.9.1 release ?
<https://lists.apache.org/x/thread.html/d40ed5a338bf32d516b7b1590fe3d0e37f3607466b5bb74234ad1725@%3Cuser.flink.apache.org%3E>

关于 1.9.1 发布是否包括某个 fix 的提问，回复解释了 FLINK 社区发版的策略，bugfix 版本并不会包括 master 上所有新的
commit

[SURVEY] How many people are using customized RestartStrategy(s)
<https://lists.apache.org/x/thread.html/8914256debb28b69a967fa3ae3a01a111b4987ae4d8bf8ea7277c92a@%3Cuser.flink.apache.org%3E>

Zhu Zhu 发起了关于用户自定义重启策略的调查，如果你使用了自己实现的重启策略，欢迎参与调查

How do I start a Flink application on my Flink+Mesos cluster?
<https://lists.apache.org/x/thread.html/ad2cb86ba1fa35481f734d30b06c5afadf05ae799e51958a60229e28@%3Cuser.flink.apache.org%3E>

FLINK on Mesos 的实践
DEV

Interested in contributing and looking for good first issues
<https://lists.apache.org/x/thread.html/4bb8549495917d312eec8d348087a07a650982f35df4797da0d86455@%3Cdev.flink.apache.org%3E>

FLINK 社区暂时没有一个专门的 good for first 的 label 标志适合新手上手的 issue，但是任何贡献者随时可以在对应的
JIRA 或者 dev 邮件列表上发声寻求帮助

[DISCUSS] Drop older versions of Kafka Connectors (0.9, 0.10) for Flink 1.10
<https://lists.apache.org/x/thread.html/58a84b9cac5e8fbb36e34a42237a778a7f2d4012f461742d15180f3e@%3Cuser.flink.apache.org%3E>

Stephan Ewen 发起了移除 Kafka 0.9 和 0.10 连接器的讨论，如果你在生产中使用该版本的 Kafka 连接器并且希望保持使用
FLINK 的最新版本，欢迎参与讨论并分享你的使用场景和需求

[DISCUSS] Retrieval services in non-high-availability scenario
<https://lists.apache.org/x/thread.html/584d84e2ac60de24a2ae1e814608f437057b3c4a264743ce90d21d0f@%3Cdev.flink.apache.org%3E>

tison 发起了关于 non-ha 场景下 FLINK
提供不支持容错的名称服务的讨论，原计划将现有的两种不完整实现统一为一个位置透明的单点实现，但是社区出于稳定性考虑最终达成的共识是拆分成更细分的步骤实现和审查

[DISCUSS] modular built-in functions
<https://lists.apache.org/x/thread.html/cd2dd1376915b3c64c0bd90c189b0faf60b1f6e17fdee8e2825dff2f@%3Cdev.flink.apache.org%3E>

Bowen Li 发起了关于支持通过 module 加载外部 built-in 函数的讨论，这分支于关于 FLINK Function Catalog
的讨论

Call for approving Elasticsearch 7.x connector
<https://lists.apache.org/x/thread.html/74b8c35bf58ffab0f9b72ab32ec9ea808038c4bc1a9171d1f90f3bf2@%3Cdev.flink.apache.org%3E>

Vino Yang 重新提起了关于 ES 7.x 连接器的讨论，由于 ES API 不兼容，FLINK 针对 ES 7.x 需要额外实现一个连接器

[DISCUSS] Contribute Pulsar Flink connector back to Flink
<https://lists.apache.org/x/thread.html/88960831be9ce316c45ec48aeece946ca90c944fa34ddcd39083c6c2@%3Cdev.flink.apache.org%3E>

Pulsar 社区的连接器贡献请求看上去已经被社区接受了，这次有不少于两三名 committer 表示会持续关注其进展并参与代码审查。虽然该连接器和
FLIP-27 的冲突仍在讨论中，但很有希望在 1.10 版本中看到这个新连接器被加入到功能集合中
NEWS

[ANNOUNCE] Apache Flink 1.8.2 released
<https://lists.apache.org/x/thread.html/50e9a48154f1e497d28443583dbd754540408a0f361249b3c5f9418f@%3Cuser.flink.apache.org%3E>

Jark Wu 发布了 FLINK 的 1.8.2 版本，bugfix 版本通常包含重要的 bugfix，欢迎跳转到邮件列表和相关链接查看 1.8.2
修复的 bug，以便确认自己是否需要升级到 1.8.2 或升级到 1.8.2 是否解决目前遇到的问题

[ANNOUNCE] Zili Chen becomes a Flink committer
<https://lists.apache.org/x/thread.html/384c91ce1dc6ae5a437f2d87d9878727f893d2a7182bae9831a32502@%3Cdev.flink.apache.org%3E>

小 tison 成为 FLINK 的 committer 啦 >_< 我主要的关注点在 FLINK runtime 方面，所以编撰 FLINK
WEEKLY 的时候也常常有看不懂某些 thread 的情况，如果你对 FLINK 有一定的了解，欢迎联系我一起编写 FLINK WEEKLY
呀。很惭愧，只做了一点微小的工作
Best,
tison.