flink-1.8.1 yarn per job模式使用

[李玉环]

Hi 大家好：

在使用flink过程中，运行官网给的命令
https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
报错如下：

➜  flink-1.8.1 ./bin/flink run -m yarn-cluster
./examples/batch/WordCount.jar
------------------------------------------------------------
 The program finished with the following exception:

java.lang.RuntimeException: Could not identify hostname and port in
'yarn-cluster'.
at
org.apache.flink.client.ClientUtils.parseHostPortAddress(ClientUtils.java:47)
at
org.apache.flink.client.cli.AbstractCustomCommandLine.applyCommandLineOptionsToConfiguration(AbstractCustomCommandLine.java:83)
at
org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:60)
at
org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:35)
at org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:224)
at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
at
org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050)
at
org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126)
at
org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126)


疑问：
1.为什么会将 yarn-clustet解析为host?
2.要运行single flink job on yarn的正确姿势是啥？

Best,
Yuhuan

[tison]

这个问题以前邮件列表有人提过...不过现在 user-zh 没有 archive 不好引用。

你看下是不是 lib 下面没有 flink-shaded-hadoop-2-uber-<hadoop-version>-7.0.jar 这样一个文件。

1.8.1 之后 FLINK 把 hadoop(YARN) 的 lib 分开 release 了，你要指定自己的 HADOOP_CLASSPATH
或者下载 FLINK 官网 pre-bundle 的 hadoop。

具体可以看这个页面（https://flink.apache.org/downloads.html）第一段的内容。

Best,
tison.


李玉环 <[hidden email]> 于2019年8月7日周三 下午7:15写道：

> Hi 大家好：
>
> 在使用flink过程中，运行官网给的命令
>
> https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
> 报错如下：
>
> ➜  flink-1.8.1 ./bin/flink run -m yarn-cluster
> ./examples/batch/WordCount.jar
> ------------------------------------------------------------
>  The program finished with the following exception:
>
> java.lang.RuntimeException: Could not identify hostname and port in
> 'yarn-cluster'.
> at
>
> org.apache.flink.client.ClientUtils.parseHostPortAddress(ClientUtils.java:47)
> at
>
> org.apache.flink.client.cli.AbstractCustomCommandLine.applyCommandLineOptionsToConfiguration(AbstractCustomCommandLine.java:83)
> at
>
> org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:60)
> at
>
> org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:35)
> at org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:224)
> at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
> at
>
> org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050)
> at
>
> org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126)
> at
>
> org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
> at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126)
>
>
> 疑问：
> 1.为什么会将 yarn-clustet解析为host?
> 2.要运行single flink job on yarn的正确姿势是啥？
>
> Best,
> Yuhuan
>

[李玉环]

非常感谢tison，完美的解决了我的问题，以后会多留意社区问题。

具体到自己的hadoop版本，就是在flink工程编译
flink-1.8.1/flink-shaded-hadoop/flink-shaded-hadoop2-uber/target
的jar放在lib下即可

Zili Chen <[hidden email]> 于2019年8月7日周三 下午7:33写道：

> 这个问题以前邮件列表有人提过...不过现在 user-zh 没有 archive 不好引用。
>
> 你看下是不是 lib 下面没有 flink-shaded-hadoop-2-uber-<hadoop-version>-7.0.jar 这样一个文件。
>
> 1.8.1 之后 FLINK 把 hadoop(YARN) 的 lib 分开 release 了，你要指定自己的 HADOOP_CLASSPATH
> 或者下载 FLINK 官网 pre-bundle 的 hadoop。
>
> 具体可以看这个页面（https://flink.apache.org/downloads.html）第一段的内容。
>
> Best,
> tison.
>
>
> 李玉环 <[hidden email]> 于2019年8月7日周三 下午7:15写道：
>
> > Hi 大家好：
> >
> > 在使用flink过程中，运行官网给的命令
> >
> >
> https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
> > 报错如下：
> >
> > ➜  flink-1.8.1 ./bin/flink run -m yarn-cluster
> > ./examples/batch/WordCount.jar
> > ------------------------------------------------------------
> >  The program finished with the following exception:
> >
> > java.lang.RuntimeException: Could not identify hostname and port in
> > 'yarn-cluster'.
> > at
> >
> >
> org.apache.flink.client.ClientUtils.parseHostPortAddress(ClientUtils.java:47)
> > at
> >
> >
> org.apache.flink.client.cli.AbstractCustomCommandLine.applyCommandLineOptionsToConfiguration(AbstractCustomCommandLine.java:83)
> > at
> >
> >
> org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:60)
> > at
> >
> >
> org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:35)
> > at
> org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:224)
> > at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
> > at
> >
> >
> org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050)
> > at
> >
> >
> org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126)
> > at
> >
> >
> org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
> > at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126)
> >
> >
> > 疑问：
> > 1.为什么会将 yarn-clustet解析为host?
> > 2.要运行single flink job on yarn的正确姿势是啥？
> >
> > Best,
> > Yuhuan
> >
>

[tison]

刚发现 user-zh 是有 archive[1] 的，上面提到过的跟你类似的问题是这个 thread[2]。

Best,
tison.

[1] https://lists.apache.org/list.html?user-zh@...
[2]
https://lists.apache.org/thread.html/061d8e48b091b27e797975880c193838f2c37894c2a90aa6a6e83d36@%3Cuser-zh.flink.apache.org%3E

Yuhuan Li <[hidden email]> 于2019年8月7日周三 下午7:57写道：

> 非常感谢tison，完美的解决了我的问题，以后会多留意社区问题。
>
> 具体到自己的hadoop版本，就是在flink工程编译
> flink-1.8.1/flink-shaded-hadoop/flink-shaded-hadoop2-uber/target
> 的jar放在lib下即可
>
> Zili Chen <[hidden email]> 于2019年8月7日周三 下午7:33写道：
>
> > 这个问题以前邮件列表有人提过...不过现在 user-zh 没有 archive 不好引用。
> >
> > 你看下是不是 lib 下面没有 flink-shaded-hadoop-2-uber-<hadoop-version>-7.0.jar
> 这样一个文件。
> >
> > 1.8.1 之后 FLINK 把 hadoop(YARN) 的 lib 分开 release 了，你要指定自己的 HADOOP_CLASSPATH
> > 或者下载 FLINK 官网 pre-bundle 的 hadoop。
> >
> > 具体可以看这个页面（https://flink.apache.org/downloads.html）第一段的内容。
> >
> > Best,
> > tison.
> >
> >
> > 李玉环 <[hidden email]> 于2019年8月7日周三 下午7:15写道：
> >
> > > Hi 大家好：
> > >
> > > 在使用flink过程中，运行官网给的命令
> > >
> > >
> >
> https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
> > > 报错如下：
> > >
> > > ➜  flink-1.8.1 ./bin/flink run -m yarn-cluster
> > > ./examples/batch/WordCount.jar
> > > ------------------------------------------------------------
> > >  The program finished with the following exception:
> > >
> > > java.lang.RuntimeException: Could not identify hostname and port in
> > > 'yarn-cluster'.
> > > at
> > >
> > >
> >
> org.apache.flink.client.ClientUtils.parseHostPortAddress(ClientUtils.java:47)
> > > at
> > >
> > >
> >
> org.apache.flink.client.cli.AbstractCustomCommandLine.applyCommandLineOptionsToConfiguration(AbstractCustomCommandLine.java:83)
> > > at
> > >
> > >
> >
> org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:60)
> > > at
> > >
> > >
> >
> org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:35)
> > > at
> > org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:224)
> > > at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
> > > at
> > >
> > >
> >
> org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050)
> > > at
> > >
> > >
> >
> org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126)
> > > at
> > >
> > >
> >
> org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
> > > at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126)
> > >
> > >
> > > 疑问：
> > > 1.为什么会将 yarn-clustet解析为host?
> > > 2.要运行single flink job on yarn的正确姿势是啥？
> > >
> > > Best,
> > > Yuhuan
> > >
> >
>