Flink Weekly | 每周社区动态更新 - 2020/03/01

[Jingsong Lee]

大家好，本文为 Flink Weekly 的第七期，由李劲松整理，主要内容包括：近期社区开发进展，邮件问题答疑以及社区直播和相关技术博客。

社区开发进展

谢亚东增强Apache Flink Web
UI的提议[1]拆分成了7个子FLIP，这将大大增强UI的可用性，帮助我们排查问题，了解运行时信息。现在分别正在热火朝天的讨论和投票中，大家可以看下邮件中的Demo，每个子FLIP都有Demo例子来展示。

   -

   FLIP-98: 更好的反压检测 [2]
   -

   FLIP-99: 使得最大异常数可配置 [3]
   -

   FLIP-100: 添加Task等的重试信息 [4]
   -

   FLIP-101: 在作业详情页面添加PendingSlots的Tab [5]
   -

   FLIP-102: 添加更多的TaskManager Metrics [6]
   -

   FLIP-103: 更好的Taskmanager/Jobmanager日志展示 [7]
   -

   FLIP-104: 添加更多的Jobmanager Metrics [8]

更多信息请参考：

[1]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-75-Flink-Web-UI-Improvement-Proposal-td33540.html

[2]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-98-Better-Back-Pressure-Detection-td37893.html

[3]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-99-Make-Max-Exception-Configurable-tp37895.html

[4]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-100-Add-Attempt-Information-tp37896p37966.html

[5]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-101-Add-Pending-Slots-Detail-tp37897p37967.html

[6]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-102-Add-More-Metrics-to-TaskManager-tp37898.html

[7]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-103-Better-TM-JM-Log-Display-tp37899p38075.html

[8]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-104-Add-More-Metrics-to-Jobmanager-tp37901.html

Canbin
Zheng发起的Kubernetes的架构重构讨论正在进行中，希望引入一个统一的基于monadic-step的编排器架构，该架构对Kubernetes资源构建过程具有更好、更清晰和一致的抽象，适用于客户端和服务端。

[9]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLINK-16194-Refactor-the-Kubernetes-architecture-design-td37931.html

钟葳发起了在SQL DDL中支持Python
UDF的讨论，在1.10中，已经支持了UDF的DDL，但是只支持了Java/Scala的，这个讨论旨在支持Python UDF。

[10]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-106-Support-Python-UDF-in-SQL-Function-DDL-td38107.html

李钰和王治江回复了Unaligned
checkpoints的讨论，这个提议在于支持一种新的Checkpoint方式，它可以把Checkpoint的间隔大大缩短，减少流计算的E2E时间，也减少Failover的时间。

[11]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-76-Unaligned-checkpoints-td33651.html

李博闻发起了JDBC Catalog FLIP的投票，旨在用Catalog来对接JDBC，从而可以使用到外部数据库的表。

[12]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-93-JDBC-catalog-and-Postgres-catalog-td38208.html

贺小令发起了TableEnvironment接口重构FLIP的投票，旨在重构TableEnvironment的sqlUpdate等接口，提供更为清晰的sql接口，避免缓存SQL问题导致用户的困惑。

[13]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-84-Improve-amp-Refactor-API-of-TableEnvironment-td38178.html

邮件问题答疑

Outlook在用户邮件列表发出了关于Json格式解析Timestamp时的问题，目前Flink在Json解析时遵循了RFC
3339标准，但是这个标准可能不是用户常用的，用户可能有各种各样的Timestamp字符串形式，解法正在讨论中。

[14]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Re-TIME-TIMESTAMP-parse-in-Flink-TABLE-SQL-API-td38150.html

有两位用户都遇到了Class冲突的问题，这是因为Flink
1.10把客户端的ClassLoader解析顺序调整为了Child优先，这就导致用户的Jar包不能包含Flink框架的classes，比如常见的Calcite、Flink-Planner依赖、Hive依赖等等。用户需要把有冲突classes的jar放到flink-home/lib下，或者调整策略为Parent优先。

[15]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-1-10-exception-Unable-to-instantiate-java-compiler-td38221.html

[16]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-1-10-exception-Unable-to-instantiate-java-compiler-td38221.html

猫猫提出了flink-jdbc-driver的使用问题，引出了目前batch不支持UpsertTableSink，也就是不支持目前的JDBCUpsertSink和HBaseUpsertSink，目前正在支持中。

[17]
http://apache-flink.147419.n8.nabble.com/flink-jdbc-driver-mysql-flink1-10-0-td1763.html

claylin提出了Flink 1.10 RocksDB优化的问题，正在尝试通过内存和线程来解决。

[18]http://apache-flink.147419.n8.nabble.com/rocksDB-td1785.html

有两位用户都碰到了Flink 1.10 Hive集成的kerberos认证异常，问题还在排查中。

[19]
http://apache-flink.147419.n8.nabble.com/Flink-1-10-hive-kerberos-td1751.html

[20]
http://apache-flink.147419.n8.nabble.com/Hive-Source-With-Kerberos-td1688.html


活动博客文章及其他

Seth发布关于Apache Flink SQL DDL的博客文章“No Java Required: Configured Sources and
Sinks in SQL”。

[21]https://flink.apache.org/news/2020/02/20/ddl.html

Maximilian Michels和Markos Sfikas发布了Apache Beam和Apache Flink集成的博客文章：“Apache
Beam: How Beam Runs on Top of Flink”。

[22]
https://flink.apache.org/ecosystem/2020/02/22/apache-beam-how-beam-runs-on-top-of-flink.html


Best,

Jingsong Lee