在已有 Hadoop 外搭建 standalone 模式 HA flink 集群

现在已经有了一个 Hadoop 集群。
我想在这个 集群外（不同的机器，网络互通）部署一个 standalone 模式的 flink cluster，配置 jobmanager 的 HA，访问和使用已有 Hadoop 的 HDFS，使用已有 Hadoop 的 zookeeper

这个有参考文档怎么操作吗？

谢谢，
王磊



[hidden email]

看起来这个文档可以，我先试下：

https://ci.apache.org/projects/flink/flink-docs-stable/ops/jobmanager_high_availability.html



[hidden email]

发件人： [hidden email]
发送时间： 2020-05-07 12:23
收件人： user-zh
主题： 在已有 Hadoop 外搭建 standalone 模式 HA flink 集群
 
现在已经有了一个 Hadoop 集群。
我想在这个 集群外（不同的机器，网络互通）部署一个 standalone 模式的 flink cluster，配置 jobmanager 的 HA，访问和使用已有 Hadoop 的 HDFS，使用已有 Hadoop 的 zookeeper
 
这个有参考文档怎么操作吗？
 
谢谢，
王磊
 
 
 
[hidden email]
 

[AndrwLin]

https://ci.apache.org/projects/flink/flink-docs-stable/ops/jobmanager_high_availability.html




---原始邮件---
发件人: "[hidden email]"<[hidden email]&gt;
发送时间: 2020年5月7日(周四) 中午12:23
收件人: "user-zh"<[hidden email]&gt;;
主题: 在已有 Hadoop 外搭建 standalone 模式 HA flink 集群



现在已经有了一个 Hadoop 集群。
我想在这个 集群外（不同的机器，网络互通）部署一个 standalone 模式的 flink cluster，配置 jobmanager 的 HA，访问和使用已有 Hadoop 的 HDFS，使用已有 Hadoop 的 zookeeper

这个有参考文档怎么操作吗？

谢谢，
王磊



[hidden email]

我试了下是可以的，但现在有一个访问 HDFS 的问题。

我用的 hadoop 是阿里云 EMR 管理， 在 EMR 管理的机器上可以以 hdfs://emr-cluster:8020/ 访问 HDFS

但我部署的 Flink 不属于 EMR 管理，这个地址是不能解析的，我只能写成  hdfs://active-namenode-ip:8020/ 的形式，NameNode 丧失了 HA 的功能

有什么方式解决这个问题吗？

谢谢，
王磊



[hidden email]

Sender: Andrew
Send Time: 2020-05-07 12:31
Receiver: user-zh
Subject: 回复：在已有 Hadoop 外搭建 standalone 模式 HA flink 集群
https://ci.apache.org/projects/flink/flink-docs-stable/ops/jobmanager_high_availability.html
 
 
 
 
---原始邮件---
发件人: "[hidden email]"<[hidden email]&gt;
发送时间: 2020年5月7日(周四) 中午12:23
收件人: "user-zh"<[hidden email]&gt;;
主题: 在已有 Hadoop 外搭建 standalone 模式 HA flink 集群
 
 
 
现在已经有了一个 Hadoop 集群。
我想在这个 集群外（不同的机器，网络互通）部署一个 standalone 模式的 flink cluster，配置 jobmanager 的 HA，访问和使用已有 Hadoop 的 HDFS，使用已有 Hadoop 的 zookeeper
 
这个有参考文档怎么操作吗？
 
谢谢，
王磊
 
 
 
[hidden email]