Apache Flink 中文用户邮件列表

FLINK WEEKLY 2019/45

classic Classic list List threaded Threaded
♦
♦
 1 message Options
tison
Reply | Threaded
Open this post in threaded view
♦
♦
|

FLINK WEEKLY 2019/45

tison
FLINK WEEKLY 2019/45 <https://zhuanlan.zhihu.com/p/91295251>用户问题

   -

   FLINK 集群搭建的综合问题
   <https://lists.apache.org/x/thread.html/cf4a4aa0de6dce9452a7575f5e67a85deda7e87a68d3125dabedcb4b@%3Cuser-zh.flink.apache.org%3E>:
   社区新用户提出了搭建 FLINK 集群的一系列问题，包括监控、作业上下线和恢复相关的问题。有业务接入 FLINK 需求的朋友可以跟踪一下这个
   Thread
   -

   FLINK 作业提交到集群执行异常
   <https://lists.apache.org/x/thread.html/5f1ce94e862a0c873a368db1c783b33e958b3bdca37bd6ff5d4f46b0@%3Cuser-zh.flink.apache.org%3E>:
   Kafka 依赖相关的打包问题，表现为提交不报错，运行时 ClassNotFoundException。这与 FLINK 的类加载机制有关
   -

   Flink DataStream KeyedStream 与 AggregateFunction
   <https://lists.apache.org/x/thread.html/e92e935ddd955cb000d88036b4892f7cffbddbee8a8894ce6cea8a8f@%3Cuser-zh.flink.apache.org%3E>:
   DataStream 上 keyBy 和 aggregate 语义和使用上的问题
   -

   Flink同一DAG里两个并行动态流的问题
   <https://lists.apache.org/x/thread.html/2fd458fd67d2338307197968badde03fa94cdbe111f6700d335ad887@%3Cuser-zh.flink.apache.org%3E>:
   具体业务发现两个并行动态流性能相互影响的性能问题
   -

   Mac操作系统下Ask timed out问題
   <https://lists.apache.org/x/thread.html/d8399bf85b669fcdef87afd2a01c491737ff445e3815e5a043ce4e64@%3Cuser-zh.flink.apache.org%3E>:
   神奇的升级 JDK 8 小版本之后就解决了，这里充满了玄学，我在这个 Thread 的回复里回忆了一下之前看到这个问题的各种原因和解法
   -

   在 Trigger里可以知道 Window中数据的状况吗
   <https://lists.apache.org/x/thread.html/443fab7791f83e81d3d41eb22d37b00484ba9f069d3306fb4031ec12@%3Cuser-zh.flink.apache.org%3E>
   -

   Fwd: 广播状态是否可以设置ttl过期时间
   <https://lists.apache.org/x/thread.html/f41f70dd1ec252c5b90215f99c7313b94b9605e971d9f028f963b25b@%3Cuser-zh.flink.apache.org%3E>
   -

   Flink1.7.2，TableApi的自定义聚合函数中如何使用自定义状态
   <https://lists.apache.org/x/thread.html/8207a6dd2df3efcadbaccaad9f29c9073c067e6563ebe57454e0c17b@%3Cuser-zh.flink.apache.org%3E>
   -

   如何让Flink trigger只输出有变化的数据？
   <https://lists.apache.org/x/thread.html/d1078e920c8749fd9198939337aa8343234ad5517ad55d93bcb12b9b@%3Cuser-zh.flink.apache.org%3E>
   -

   [metrics] metrics 中 Availability 和 Checkpointing 这两组没有显示
   <https://lists.apache.org/x/thread.html/0a9bc30f74c0362ea972dd5b5f86745fe5227281776e8e513da3fbba@%3Cuser-zh.flink.apache.org%3E>
   -

   flink SQL UpsertTable 语义问题
   <https://lists.apache.org/x/thread.html/6e3bd5ed5b705ff190bb88632730912ae7cb2dd9b0bdf6563abf1adf@%3Cuser-zh.flink.apache.org%3E>
   -

   Flink savepoint(checkpoint) recovery dev debug
   <https://lists.apache.org/x/thread.html/b3e71ae661696212011d327b4eac0ec3b95176f55c2c061d3378a50f@%3Cuser.flink.apache.org%3E>:
   回答介绍了相关的 debug 方法
   -

   Till Rohrmann - Can you please share your code for FF - SF - Flink as a
   lib
   <https://lists.apache.org/x/thread.html/20deb6da54c46d3eb88dd20efdb4093cd256ada2af4ca4cfbcebf1ce@%3Cuser.flink.apache.org%3E>:
   一个 Flink on k8s 的 demo
   -

   How can I get the backpressure signals inside my function or operator?
   <https://lists.apache.org/x/thread.html/cd1f490f84f84fca9d0e038a5a397e1193981f1e17e4af4b37eab069@%3Cuser.flink.apache.org%3E>
   -

   Limit max cpu usage per TaskManager
   <https://lists.apache.org/x/thread.html/572b7ad5526690059e779f1da6d5f517c35f35262ca590add274164c@%3Cuser.flink.apache.org%3E>
   -

   flink on yarn-cluster kerberos authentication for hbase
   <https://lists.apache.org/x/thread.html/9ca5f8f8560e744063c6d35a6e7a677d6fbd38e3960d5d106550e4e1@%3Cuser.flink.apache.org%3E>
   -

   What metrics can I see the root cause of "Buffer pool is destroyed"
   message?
   <https://lists.apache.org/x/thread.html/fa679803f1a2079f49188d84d3d62fbff13e8640558b8f92538c8151@%3Cuser.flink.apache.org%3E>
   -

   PreAggregate operator with timeout trigger
   <https://lists.apache.org/x/thread.html/ff8b2eb200c61d3693b468ce755c0590b312d54f4b8b2ccf8a579320@%3Cuser.flink.apache.org%3E>
   -

   RocksDB and local file system
   <https://lists.apache.org/x/thread.html/761e5bf87f32c33c7465d27dae7e1191a1253e36130ab880ae9d4b1a@%3Cuser.flink.apache.org%3E>:
   RocksDB 作为 StateBackend 的时候保存 RocksDB 数据库的位置应该是 HDFS 或者其他分布式文件系统。技术上说可以使用
   local 文件，但是在恢复的时候万一（很有可能）Task 发给的不是刚才执行的机器，那么通过 file://.. 的路径就找不到
   RocksDB 的数据，也就无法从 checkpoint 中恢复
   -

   Flink Filters have state?
   <https://lists.apache.org/x/thread.html/a93786530e8acb5bdefba2d9239a96051f5ec510dc63f5c7902cb7f6@%3Cuser.flink.apache.org%3E>:
   关于编写 Stateful 应用的一些基本问题

已知缺陷

   -

   Incorrect handling of FLINK_PLUGINS_DIR on Yarn
   <https://issues.apache.org/jira/browse/FLINK-14382>: 1.9+ 的 plugin 加载机制在
   FLINK on YARN 上目前因为一个实现 BUG 是无效的

开发讨论

   -

   [DISCUSS] PyFlink User-Defined Function Resource Management
   <http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-PyFlink-User-Defined-Function-Resource-Management-td34631.html>
   -

   [DISCUSS] Flink Avro Cloudera Registry (FLINK-14577)
   <http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Flink-Avro-Cloudera-Registry-FLINK-14577-td34647.html>

社区发展

   -

   [ANNOUNCE] Jark Wu is now part of the Flink PMC
   <http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Jark-Wu-is-now-part-of-the-Flink-PMC-td34768.html>:
   恭喜伍老师成为 Flink PMC，相信各位中文社区的朋友对他应该不陌生。除了在中文社区的贡献之外，Jark 还是 Table API / SQL
   的重要贡献者，同时主导了多个版本的 FLINK 的发布
   -

   [DISCUSS] Releasing Flink 1.8.3
   <http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-8-3-td34811.html>:
   jincheng sun 发起了 1.8.3 的发布讨论
Free forum by Nabble Edit this page