Apache Flink 中文用户邮件列表

flink1.11启动问题

classic Classic list List threaded Threaded
♦
♦
 5 messages Options
酷酷的浑蛋
Reply | Threaded
Open this post in threaded view
♦
♦
|

flink1.11启动问题

酷酷的浑蛋


服了啊，这个flink1.11启动怎么净是问题啊


我1.7，1.8，1.9 都没有问题，到11就不行
./bin/flink run -m yarn-cluster -yqu root.rt_constant -ys 2 -yjm 1024 -yjm 1024 -ynm sql_test ./examples/batch/WordCount.jar --input hdfs://xxx/data/wangty/LICENSE-2.0.txt --output hdfs://xxx/data/wangty/a


报错：
Caused by: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate the required slot within slot request timeout. Please make sure that the cluster has enough resources. at org.apache.flink.runtime.scheduler.DefaultScheduler.maybeWrapWithNoResourceAvailableException(DefaultScheduler.java:441) ... 45 more Caused by: java.util.concurrent.CompletionException: java.util.concurrent.TimeoutException at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292) at java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.java:308) at java.util.concurrent.CompletableFuture.uniApply(CompletableFuture.java:593) at java.util.concurrent.CompletableFuture$UniApply.tryFire(CompletableFuture.java:577) ... 25 more


我资源是足的啊，就flink1.11起不来，一直卡在那里，卡好久然后报这个错，大神们帮看看吧，昨天的jar包冲突问题已经解决（只有flink1.11存在的问题），

Shuiqiang Chen
Reply | Threaded
Open this post in threaded view
♦
♦
|

Re: flink1.11启动问题

Shuiqiang Chen
Hi，

可以尝试在jm的log里看看是在申请哪个资源的时候超时了, 对比下所申请的资源规格和集群可用资源

Best，
Shuiqiang

酷酷的浑蛋 <[hidden email]> 于2020年7月21日周二 下午4:37写道：

>
>
> 服了啊，这个flink1.11启动怎么净是问题啊
>
>
> 我1.7，1.8，1.9 都没有问题，到11就不行
> ./bin/flink run -m yarn-cluster -yqu root.rt_constant -ys 2 -yjm 1024 -yjm
> 1024 -ynm sql_test ./examples/batch/WordCount.jar --input
> hdfs://xxx/data/wangty/LICENSE-2.0.txt --output hdfs://xxx/data/wangty/a
>
>
> 报错：
> Caused by:
> org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:
> Could not allocate the required slot within slot request timeout. Please
> make sure that the cluster has enough resources. at
> org.apache.flink.runtime.scheduler.DefaultScheduler.maybeWrapWithNoResourceAvailableException(DefaultScheduler.java:441)
> ... 45 more Caused by: java.util.concurrent.CompletionException:
> java.util.concurrent.TimeoutException at
> java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292)
> at
> java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.java:308)
> at
> java.util.concurrent.CompletableFuture.uniApply(CompletableFuture.java:593)
> at
> java.util.concurrent.CompletableFuture$UniApply.tryFire(CompletableFuture.java:577)
> ... 25 more
>
>
>
> 我资源是足的啊，就flink1.11起不来，一直卡在那里，卡好久然后报这个错，大神们帮看看吧，昨天的jar包冲突问题已经解决（只有flink1.11存在的问题），
>
>
酷酷的浑蛋
Reply | Threaded
Open this post in threaded view
♦
♦
|

回复： flink1.11启动问题

酷酷的浑蛋
jm里面没有日志啊，关键是配置都是一样的，我在1.9里运行就没问题，在flink1.11就一直卡在那里，不分配资源，到底启动方式改变了啥呢？ 集群资源是有的，可是任务一直卡在那说没资源，这怎么办




在2020年07月21日 17:22，Shuiqiang Chen<[hidden email]> 写道：
Hi，

可以尝试在jm的log里看看是在申请哪个资源的时候超时了, 对比下所申请的资源规格和集群可用资源

Best，
Shuiqiang

酷酷的浑蛋 <[hidden email]> 于2020年7月21日周二 下午4:37写道：



服了啊，这个flink1.11启动怎么净是问题啊


我1.7，1.8，1.9 都没有问题，到11就不行
./bin/flink run -m yarn-cluster -yqu root.rt_constant -ys 2 -yjm 1024 -yjm
1024 -ynm sql_test ./examples/batch/WordCount.jar --input
hdfs://xxx/data/wangty/LICENSE-2.0.txt --output hdfs://xxx/data/wangty/a


报错：
Caused by:
org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:
Could not allocate the required slot within slot request timeout. Please
make sure that the cluster has enough resources. at
org.apache.flink.runtime.scheduler.DefaultScheduler.maybeWrapWithNoResourceAvailableException(DefaultScheduler.java:441)
... 45 more Caused by: java.util.concurrent.CompletionException:
java.util.concurrent.TimeoutException at
java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292)
at
java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.java:308)
at
java.util.concurrent.CompletableFuture.uniApply(CompletableFuture.java:593)
at
java.util.concurrent.CompletableFuture$UniApply.tryFire(CompletableFuture.java:577)
... 25 more



我资源是足的啊，就flink1.11起不来，一直卡在那里，卡好久然后报这个错，大神们帮看看吧，昨天的jar包冲突问题已经解决（只有flink1.11存在的问题），


Yang Wang
Reply | Threaded
Open this post in threaded view
♦
♦
|

Re: flink1.11启动问题

Yang Wang
可以的话，发一下client端和JM端的log

1.11是对提交方式有一些变化，但应该都是和之前兼容的，你的提交命令看着也是没有问题的
我自己试了一下也是可以正常运行的


Best,
Yang

酷酷的浑蛋 <[hidden email]> 于2020年7月22日周三 上午11:06写道：

> jm里面没有日志啊，关键是配置都是一样的，我在1.9里运行就没问题，在flink1.11就一直卡在那里，不分配资源，到底启动方式改变了啥呢？
> 集群资源是有的，可是任务一直卡在那说没资源，这怎么办
>
>
>
>
> 在2020年07月21日 17:22，Shuiqiang Chen<[hidden email]> 写道：
> Hi，
>
> 可以尝试在jm的log里看看是在申请哪个资源的时候超时了, 对比下所申请的资源规格和集群可用资源
>
> Best，
> Shuiqiang
>
> 酷酷的浑蛋 <[hidden email]> 于2020年7月21日周二 下午4:37写道：
>
>
>
> 服了啊，这个flink1.11启动怎么净是问题啊
>
>
> 我1.7，1.8，1.9 都没有问题，到11就不行
> ./bin/flink run -m yarn-cluster -yqu root.rt_constant -ys 2 -yjm 1024 -yjm
> 1024 -ynm sql_test ./examples/batch/WordCount.jar --input
> hdfs://xxx/data/wangty/LICENSE-2.0.txt --output hdfs://xxx/data/wangty/a
>
>
> 报错：
> Caused by:
> org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException:
> Could not allocate the required slot within slot request timeout. Please
> make sure that the cluster has enough resources. at
>
> org.apache.flink.runtime.scheduler.DefaultScheduler.maybeWrapWithNoResourceAvailableException(DefaultScheduler.java:441)
> ... 45 more Caused by: java.util.concurrent.CompletionException:
> java.util.concurrent.TimeoutException at
>
> java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292)
> at
>
> java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.java:308)
> at
> java.util.concurrent.CompletableFuture.uniApply(CompletableFuture.java:593)
> at
>
> java.util.concurrent.CompletableFuture$UniApply.tryFire(CompletableFuture.java:577)
> ... 25 more
>
>
>
>
> 我资源是足的啊，就flink1.11起不来，一直卡在那里，卡好久然后报这个错，大神们帮看看吧，昨天的jar包冲突问题已经解决（只有flink1.11存在的问题），
>
>
>
Evan
Reply | Threaded
Open this post in threaded view
♦
♦
|

Re: 回复：flink1.11启动问题

Evan
In reply to this post by 酷酷的浑蛋
看一下yarn-containers-vcores这个参数：

https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html#yarn-containers-vcores

结合自己的集群，适当调低这个参数





[hidden email]
 
发件人： JasonLee
发送时间： 2020-07-22 12:58
收件人： user-zh
主题： 回复：flink1.11启动问题
Hi
报错显示的是资源不足了 你确定yarn上的资源是够的吗 看下是不是节点挂了 1.11我这边提交任务都是正常的
 
 
| |
JasonLee
|
|
邮箱：[hidden email]
|
 
Signature is customized by Netease Mail Master
 
在2020年07月21日 16:36，酷酷的浑蛋 写道：
 
 
服了啊，这个flink1.11启动怎么净是问题啊
 
 
我1.7，1.8，1.9 都没有问题，到11就不行
./bin/flink run -m yarn-cluster -yqu root.rt_constant -ys 2 -yjm 1024 -yjm 1024 -ynm sql_test ./examples/batch/WordCount.jar --input hdfs://xxx/data/wangty/LICENSE-2.0.txt --output hdfs://xxx/data/wangty/a
 
 
报错：
Caused by: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate the required slot within slot request timeout. Please make sure that the cluster has enough resources. at org.apache.flink.runtime.scheduler.DefaultScheduler.maybeWrapWithNoResourceAvailableException(DefaultScheduler.java:441) ... 45 more Caused by: java.util.concurrent.CompletionException: java.util.concurrent.TimeoutException at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292) at java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.java:308) at java.util.concurrent.CompletableFuture.uniApply(CompletableFuture.java:593) at java.util.concurrent.CompletableFuture$UniApply.tryFire(CompletableFuture.java:577) ... 25 more
 
 
我资源是足的啊，就flink1.11起不来，一直卡在那里，卡好久然后报这个错，大神们帮看看吧，昨天的jar包冲突问题已经解决（只有flink1.11存在的问题），
 
Free forum by Nabble Edit this page