FLINK WEEKLY 2019/39

[tison]

FLINK WEEKLY 2019/39 <https://zhuanlan.zhihu.com/p/84858603>

大家国庆节快乐呀！过去的一周也是 FLINK 蓬勃发展的一周，下面就让我们看看上周都有些什么讨论和进展吧。
用户问题

关于 Async I/O 的 exactly-once
<https://lists.apache.org/x/thread.html/5d3aac86c9b20a10e4240c57c03cd614c8b172e1bf4c10c10e16cdea@%3Cuser-zh.flink.apache.org%3E>

讨论了 FLINK 中 exactly-once 到底提供了什么保证，FLINK
只提供了系统内部的数据发送保证，与外部系统交互时需要合作提供跨系统的保证

请教初始化系统缓存的问题
<https://lists.apache.org/x/thread.html/bd974c94adc47d67ea794a8fd280d99bf71c388444032e0ff351bfe2@%3Cuser-zh.flink.apache.org%3E>

FLINK 在物联网和车联网场景的实践，关于 FLINK 应用的数据缓存和优化

向社区提交代码怎么自己验证
<https://lists.apache.org/x/thread.html/255ac745fbd56d42b725d7348d0f190f207649c7b6541cd6d2ba6909@%3Cuser-zh.flink.apache.org%3E>

在 FLINK 代码仓库上作出改动后，在提交 pull request 之前自测的方法

map不能返回null值吗
<https://lists.apache.org/x/thread.html/a2dcef83795ae0e797f468f68ab23319c20a7459e38e1d6b1d134045@%3Cuser-zh.flink.apache.org%3E>

是的

flink 命令行疑问
<https://lists.apache.org/x/thread.html/2fe90b01edfada2e4b87be43cc41692956e2fd04c4c169912507121e@%3Cuser-zh.flink.apache.org%3E>

YARN 参数 -yj 只支持本地 jar 包

怎么执行flink代码里边的测试用例
<https://lists.apache.org/x/thread.html/31da111c12d8d2474fcda7b4b73dc991c71b9ae1a9d324c96c65fd3c@%3Cuser-zh.flink.apache.org%3E>

其实是个跟 Maven 或者 IDE 更相关的话题，Xintong Song 介绍了在命令行下通过 Maven 运行测试用例的方法

Challenges Deploying Flink With Savepoints On Kubernetes
<https://lists.apache.org/x/thread.html/4299518f4da2810aa88fe6b21f841880b619f3f8ac264084a318c034@%3Cuser.flink.apache.org%3E>

FLINK on k8s 使用 Savepoint 启动的 troubleshooting

Help need w.r.t parallelism settings in flink
<https://lists.apache.org/x/thread.html/275527fa114dfd4aa39d9b31fd196799edcda6cb89d375777be62903@%3Cuser.flink.apache.org%3E>

FLINK 中关于并发度配置的问题

Flink job manager doesn't remove stale checkmarks
<https://lists.apache.org/x/thread.html/2a0c660a4e47d0a1ac6ea52c752d49368eac4002076a7158c50d3a79@%3Cuser.flink.apache.org%3E>

开启 incremental checkpoint 之后先前的 checkpoint 作为基础并不会因为 checkpoint retain
数量的问题而被认为是过期的

Flink SQL update-mode set to retract in env file
<https://lists.apache.org/x/thread.html/ffb57b73ec29230bae401bfa2e1af200b6e749d159d68929e0f5e4a8@%3Cuser.flink.apache.org%3E>

FLINK SQL update-mode=retract 的配置方式

Problems with java.utils
<https://lists.apache.org/x/thread.html/225a7fa9b5643810adddbf9f5406da0d60a9d0e441c8638f00d3a1fe@%3Cuser.flink.apache.org%3E>

Scala 语言特性导致的导入 org.apache.flink.table.api._ 之后的导入冲突问题

Setting environment variables of the taskmanagers (yarn)
<https://lists.apache.org/x/thread.html/a9e4e847675f4485dccf8e5ff7c4e1c8dc0a0df44cebf0a3d938e9e4@%3Cuser.flink.apache.org%3E>

配置 YARN 下 TM 启动时的环境变量的问题

Joins Usage Clarification
<https://lists.apache.org/x/thread.html/06f4c8857730e8233b7902eec878ecdd9ade98614fed9f80539b582b@%3Cuser.flink.apache.org%3E>

关于 FLINK SQL Window 和 Join 定义的问题

How to corretly use checkstyle in IntelliJ IDEA
<https://lists.apache.org/x/thread.html/06510f102b9c9488967c58ed3142fee8d2b085815af67e02b8ba15ba@%3Cdev.flink.apache.org%3E>

开发 FLINK 的时候如何向 IDEA 导入 checkstyle 规则
已知缺陷

FLINK-14145 getLatestCheckpoint(true) returns wrong checkpoint
<https://issues.apache.org/jira/browse/FLINK-14145>

FLINK 1.9.0 上 checkpoint 恢复选择 prefer checkpoint 的时候可能会发生严重的 BUG，在最近的一个
checkpoint 不是 savepoint 时仍然会被跳过。FLINK 1.9.1 上将会修复

FLINK-13708 transformations should be cleared because a table environment
could execute multiple job
<https://issues.apache.org/jira/browse/FLINK-13708>

FLINK 1.9.0 上 Table Environment 在执行多个 execute
的时候会出现前面的任务干扰后面的任务的情况。任务执行完时应该清除前一个任务的信息。FLINK 1.9.1 上将会修复
开发讨论

[DISCUSS] Expose multiple level clients
<https://lists.apache.org/x/thread.html/240582148eda905a772d59b2424cb38fa16ab993647824d178cacb02@%3Cdev.flink.apache.org%3E>
REST
API / JarRunHandler: More flexibility for launching jobs
<https://lists.apache.org/x/thread.html/a4402d3f4fe00867a19a0541880e00562e1b5347437caa2a4478c799@%3Cdev.flink.apache.org%3E>
[DISCUSS]
FLIP-73: Introducing Executors for job submission
<https://lists.apache.org/x/thread.html/dc3a541709f96906b43df4155373af1cd09e08c3f105b0bd0ba3fca2@%3Cdev.flink.apache.org%3E>
[DISCUSS]
FLIP-74: Flink JobClient API
<https://lists.apache.org/x/thread.html/b2e22a45aeb94a8d06b50c4de078f7b23d9ff08b8226918a1a903768@%3Cdev.flink.apache.org%3E>

系列讨论都是关于 FLINK Client API 的重构的，FLINK 希望讨论出一个标准化的 Client API 以提供给 FLINK
的用户，包括直接提交 FLINK 作业的用户和 FLINK 作业管理平台的开发者。如果你关心提升跟 FLINK 交互的体验，欢迎参与任何一个
thread 或创建一个 thread 发表你的需求和看法

[DISCUSS] FLIP 69 - Flink SQL DDL Enhancement
<https://lists.apache.org/x/thread.html/41326d1a1fd73cf69c5745b8fe4ddb1056b5dfcdc333fac39042e67e@%3Cdev.flink.apache.org%3E>

Terry Wang 的 FLIP-69 提出了一系列增强 FLINK SQL DDL 的功能的提案

Per Key Grained Watermark Support
<https://lists.apache.org/x/thread.html/cb33e7569ad409d2f26fdb11e38fe9d632aadecad208f7e153c159f3@%3Cdev.flink.apache.org%3E>

廖嘉逸提出了支持键级别的 watermark 的方案

[DISCUSS] FLIP-75: Flink Web UI Improvement Proposal
<https://lists.apache.org/x/thread.html/76e646afe3ddff7b4bec029dec720512a6fcb3033c6e42b0e44b2b6b@%3Cdev.flink.apache.org%3E>

Yadong Xie 的 FLIP-75 提出了一系列的 Web UI 的改进方案，对应的 Google 文档中有详尽的图像，如果你的工作需要经常跟
FLINK Web UI 打交道，欢迎参与到这个 thread 中来

[ANNOUNCE] Progress of Apache Flink 1.10 #1
<https://lists.apache.org/x/thread.html/7200a6553dcf781e745b69f8462f7505127baffa3fd809699ce50d7a@%3Cdev.flink.apache.org%3E>

Yu Li 发布了 FLINK 1.10 的开发进展一览邮件
社区发展

[DISCUSS] Releasing Flink 1.9.1
<http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-9-1-td33343.html>

Jark Wu 负责发布的 1.9.1 已经进入 release candidate 流程，有望在近期发出