FLINK WEEKLY 2019/47

[tison]

FLINK WEEKLY 2019/47 <https://zhuanlan.zhihu.com/p/93587534>用户问题

   -

   关于flink1.7.2checkpoint本地文件存储，设置文件个数的问题
   <https://lists.apache.org/x/thread.html/87b6d90774401a79422cc10460de5d5414391a94e33c5e79225df3f4@%3Cuser-zh.flink.apache.org%3E>:
   文件个数是 FLINK 内部逻辑，不可配置也无需配置
   -

   Cron style for checkpoint
   <https://lists.apache.org/x/thread.html/801e9d0946a9f8f7061f7a85cbb6734ea7f26dbd642d5a2da01bf1de@%3Cuser.flink.apache.org%3E>:
   社区成员想要一个类似于 CRON 任务的后台定期 trigger checkpoint 的机制，邮件列表讨论了其合理性和现有方案解决实际需求的一些方式
   -

   Metrics for Task States
   <https://lists.apache.org/x/thread.html/ac96420bd7071c640be47b110f6b4aff6dbbc8f48b028db4e113f4dd@%3Cuser.flink.apache.org%3E>:
   社区成员在构建 FLINK 作业管理平台时对 TM 的监控指标提出了新的需求，想要获得一个 JOB 不同 TASK 处于什么状态的指标
   -

   Uid and name for Flink sources and sinks
   <https://lists.apache.org/x/thread.html/b5ae277791f14c270409d026d58ed9e963209c84b0adeb851aaef3f3@%3Cuser.flink.apache.org%3E>
   -

   Does apache flink support stream input from Postgresql?
   <https://lists.apache.org/x/thread.html/395221cb7250f311b340de83caa3b7d5ff742b3301184b77407eef19@%3Cuser.flink.apache.org%3E>:
   可以使用 JDBC connector
   -

   how to setup a ha flink cluster on k8s?
   <https://lists.apache.org/x/thread.html/bebeea66d61a7ca42e8767b64a705940acf89218714fbb04fd6e07d5@%3Cuser.flink.apache.org%3E>
   -

   Flink configuration at runtime
   <https://lists.apache.org/x/thread.html/cfc868bf5aec107d51991b6cde4cf893917749583ad0fdce2d17e330@%3Cuser.flink.apache.org%3E>:
   有些 JOB 级别的配置在最近的改动中能够在运行时提交前动态确定。但是大多数的配置还是直接从 flink-conf.yaml 中读取，不可改变
   -

   Dynamically creating new Task Managers in YARN
   <https://lists.apache.org/x/thread.html/dc95db62ca77bf87066103be0d2b169b6ed0742fc39377d694d65155@%3Cuser.flink.apache.org%3E>:
   FLIP-6 之后的 FLINK on YARN 已经是动态申请资源了

开发讨论

   -

   [DISCUSS] Support configure remote flink jar
   <https://lists.apache.org/x/thread.html/d875df9ab2c112309d564ae03dcb82a741cab03aadea8feba5fedaa8@%3Cuser.flink.apache.org%3E>:
   我发起了关于在 YARN 上部署作业时运行时依赖例如 FLINK 框架 JAR
   从远端直接拉取的讨论。这一讨论可以延伸到任意远端依赖上，主要想解决的问题是目前 FLINK
   在部署作业时总是要部署大量的用户依赖，这些依赖可能有很多共同的内容，却在每次部署是都需要重新上传和本地化。讨论着重在利用 YARN
   的本地化机制来优化这一开销，K8S 上有类似的初始化机制可以优化
   -

   FLINK 1.8.3 即将发布
   -

   FLINK shaded 9.0 已经发布
   -

   FLINK pulsar connector 工作
   <https://docs.google.com/document/d/1LMnABtXn-wQedsmWv8hopvx-B-jbdr8-jHbIiDhdsoE/edit>由
   Yijie Shen 稳步推进中
   -

   [DISCUSS] Remove old WebUI
   <http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Remove-old-WebUI-td35218.html>:
   1.9 中引进的新版 WebUI 稳定运行中，Chesnay 提出移除旧版的 WebUI
   -

   [DISCUSS] Primary keys in Table API
   <http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Primary-keys-in-Table-API-td35138.html>:
   Dawid 的 FLIP-87 旨在向 TableAPI 中引入主键的概念以助于运行时优化

社区发展

   -

   [ANNOUNCE] Launch of flink-packages.org: A website to foster the Flink
   Ecosystem
   <https://lists.apache.org/x/thread.html/ba04b6f8a790da2475ab89a74ac89cda3f90f43633d3a7319b92c2d0@%3Cuser.flink.apache.org%3E>:
   FLINK 也有了自己的生态系统网站 <https://flink-packages.org/>啦~