您好!
请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G log,没看出来这是因为啥导致的, 谢谢大家了。 日志内容如下: https://img-blog.csdnimg.cn/20191028155219828.png https://img-blog.csdnimg.cn/20191028155224293.png https://img-blog.csdnimg.cn/20191028155227494.png |
之前有过类似问题,你看一下这个回复,对你是否有帮助:http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724 <http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724>
> 在 2019年10月28日,下午3:54,Henry <[hidden email]> 写道: > > 您好! > > > 请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G log,没看出来这是因为啥导致的, > 谢谢大家了。 > 日志内容如下: > https://img-blog.csdnimg.cn/20191028155219828.png > > > https://img-blog.csdnimg.cn/20191028155224293.png > > > https://img-blog.csdnimg.cn/20191028155227494.png > > > |
谢谢您。不过连接打不开呀。 http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724 在 2019-10-28 20:02:21,"Dian Fu" <[hidden email]> 写道: >之前有过类似问题,你看一下这个回复,对你是否有帮助:http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724 <http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724> > > > >> 在 2019年10月28日,下午3:54,Henry <[hidden email]> 写道: >> >> 您好! >> >> >> 请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G log,没看出来这是因为啥导致的, >> 谢谢大家了。 >> 日志内容如下: >> https://img-blog.csdnimg.cn/20191028155219828.png >> >> >> https://img-blog.csdnimg.cn/20191028155224293.png >> >> >> https://img-blog.csdnimg.cn/20191028155227494.png >> >> >> > |
In reply to this post by Dian Fu
大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 详情图片如下:
|
In reply to this post by Dian Fu
大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 详情图片如下:
|
提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。
发自我的iPhone > 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道: > > > 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 > 详情图片如下: > https://img-blog.csdnimg.cn/20191115175027258.png > > > > > > > > > |
是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 在 2019-11-17 16:05:29,[hidden email] 写道: >提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。 > >发自我的iPhone > >> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道: >> >> >> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 >> 详情图片如下: >> https://img-blog.csdnimg.cn/20191115175027258.png >> >> >> >> >> >> >> >> >> |
你的job running 中确实是两个job,但是name都是一样的,我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字,就可以看出来了。 -ynm YourJobName,你再观察一下。
|
谢谢您的帮助,您贴的图碎了,看不到呢。 然后我按您说的试了一下,还是不行呢,您看我操作的对不对哈。谢谢 截图: https://img-blog.csdnimg.cn/20191118085832554.png 在 2019-11-17 16:30:46,"allanQin" <[hidden email]> 写道:
|
提交了两个job,分别在两个不同的application上,注意切换一下flink web dashboard的地址。
[hidden email] 发件人: Henry 发送时间: 2019-11-18 08:59 收件人: user-zh 主题: Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务 谢谢您的帮助,您贴的图碎了,看不到呢。 然后我按您说的试了一下,还是不行呢,您看我操作的对不对哈。谢谢 截图: https://img-blog.csdnimg.cn/20191118085832554.png 在 2019-11-17 16:30:46,"allanQin" <[hidden email]> 写道: 你的job running 中确实是两个job,但是name都是一样的,我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字,就可以看出来了。 -ynm YourJobName,你再观察一下。 在 2019-11-17 16:14:32,"Henry" <[hidden email]> 写道: > > >是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 >程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 > > > > > >在 2019-11-17 16:05:29,[hidden email] 写道: >>提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。 >> >>发自我的iPhone >> >>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道: >>> >>> >>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 >>> 详情图片如下: >>> https://img-blog.csdnimg.cn/20191115175027258.png >>> >>> >>> >>> >>> >>> >>> >>> >>> |
我还是没有搞明白你的意思,你job里面已经是两个了。打开每一个都是对应的信息。因为你启动的是同一个class所以相当于是同一个任务只是消费数据不用。你可以换一个class ,不知道是不是我说的这个意思。
发自我的iPhone > 在 2019年11月18日,上午10:06,"[hidden email]" <[hidden email]> 写道: > > 提交了两个job,分别在两个不同的application上,注意切换一下flink web dashboard的地址。 > > > > > [hidden email] > > 发件人: Henry > 发送时间: 2019-11-18 08:59 > 收件人: user-zh > 主题: Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务 > > 谢谢您的帮助,您贴的图碎了,看不到呢。 然后我按您说的试了一下,还是不行呢,您看我操作的对不对哈。谢谢 > 截图: > https://img-blog.csdnimg.cn/20191118085832554.png > > > > > 在 2019-11-17 16:30:46,"allanQin" <[hidden email]> 写道: > > 你的job running 中确实是两个job,但是name都是一样的,我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字,就可以看出来了。 -ynm YourJobName,你再观察一下。 > > > > > >> 在 2019-11-17 16:14:32,"Henry" <[hidden email]> 写道: >> >> >> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 >> 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 >> >> >> >> >> >>> 在 2019-11-17 16:05:29,[hidden email] 写道: >>> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。 >>> >>> 发自我的iPhone >>> >>>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道: >>>> >>>> >>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 >>>> 详情图片如下: >>>> https://img-blog.csdnimg.cn/20191115175027258.png >>>> >>>> >>>> >>>> >>>> >>>> >>>> >>>> >>>> > > > > > > > > |
In reply to this post by Henry
看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了
> 在 2019年11月17日,下午4:14,Henry <[hidden email]> 写道: > > > > 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 > 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 > > > > > > 在 2019-11-17 16:05:29,[hidden email] 写道: >> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。 >> >> 发自我的iPhone >> >>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道: >>> >>> >>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 >>> 详情图片如下: >>> https://img-blog.csdnimg.cn/20191115175027258.png >>> >>> >>> >>> >>> >>> >>> >>> >>> |
哦哦,太感谢了,我刚注意到链接是 http://slave1:41921/#/overview 。 但是有俩小疑问哈,第一个是,这个“41921”端口号是在哪里看到的呢? 第二个是,假如我只有slave1、slave2两台机器,但是我现在写好了三个Flink程序,然后 要提交到 yarn 上运行,那么我是不是最多也就可以看到两个 running job ? 还是虽然其中两个程序虽然在同一个节点上,但是他们的端口号是不同的,可能是 slave1:1000 对应一个程序,slave2:2000对应一个程序,通过链接进入不同 的页面查看? 在 2019-11-18 13:44:09,"aihua li" <[hidden email]> 写道: >看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了 > >> 在 2019年11月17日,下午4:14,Henry <[hidden email]> 写道: >> >> >> >> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 >> 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 >> >> >> >> >> >> 在 2019-11-17 16:05:29,[hidden email] 写道: >>> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。 >>> >>> 发自我的iPhone >>> >>>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道: >>>> >>>> >>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 >>>> 详情图片如下: >>>> https://img-blog.csdnimg.cn/20191115175027258.png >>>> >>>> >>>> >>>> >>>> >>>> >>>> >>>> >>>> > |
这个跟每个job申请的资源有关,如果三个job申请的总资源数小于yarn总的资源,那么三个job是可以同时running,否则会有job因为资源申请不到而处于accepted状态
资源足够的话两个job是可以调度到一台机器上的,只是端口号不同而已,可以从yarn页面上通过链接进入不同的页面查看 > 在 2019年11月18日,下午3:54,Henry <[hidden email]> 写道: > > > > > 哦哦,太感谢了,我刚注意到链接是 http://slave1:41921/#/overview 。 但是有俩小疑问哈,第一个是,这个“41921”端口号是在哪里看到的呢? 第二个是,假如我只有slave1、slave2两台机器,但是我现在写好了三个Flink程序,然后 > 要提交到 yarn 上运行,那么我是不是最多也就可以看到两个 running job ? 还是虽然其中两个程序虽然在同一个节点上,但是他们的端口号是不同的,可能是 slave1:1000 对应一个程序,slave2:2000对应一个程序,通过链接进入不同 > 的页面查看? > > > > > > > 在 2019-11-18 13:44:09,"aihua li" <[hidden email]> 写道: >> 看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了 >> >>> 在 2019年11月17日,下午4:14,Henry <[hidden email]> 写道: >>> >>> >>> >>> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 >>> 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 >>> >>> >>> >>> >>> >>> 在 2019-11-17 16:05:29,[hidden email] 写道: >>>> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。 >>>> >>>> 发自我的iPhone >>>> >>>>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道: >>>>> >>>>> >>>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 >>>>> 详情图片如下: >>>>> https://img-blog.csdnimg.cn/20191115175027258.png >>>>> >>>>> >>>>> >>>>> >>>>> >>>>> >>>>> >>>>> >>>>> >> |
终于搞明白了,太感谢啦 在 2019-11-18 16:09:32,"aihua li" <[hidden email]> 写道: >这个跟每个job申请的资源有关,如果三个job申请的总资源数小于yarn总的资源,那么三个job是可以同时running,否则会有job因为资源申请不到而处于accepted状态 >资源足够的话两个job是可以调度到一台机器上的,只是端口号不同而已,可以从yarn页面上通过链接进入不同的页面查看 > >> 在 2019年11月18日,下午3:54,Henry <[hidden email]> 写道: >> >> >> >> >> 哦哦,太感谢了,我刚注意到链接是 http://slave1:41921/#/overview 。 但是有俩小疑问哈,第一个是,这个“41921”端口号是在哪里看到的呢? 第二个是,假如我只有slave1、slave2两台机器,但是我现在写好了三个Flink程序,然后 >> 要提交到 yarn 上运行,那么我是不是最多也就可以看到两个 running job ? 还是虽然其中两个程序虽然在同一个节点上,但是他们的端口号是不同的,可能是 slave1:1000 对应一个程序,slave2:2000对应一个程序,通过链接进入不同 >> 的页面查看? >> >> >> >> >> >> >> 在 2019-11-18 13:44:09,"aihua li" <[hidden email]> 写道: >>> 看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了 >>> >>>> 在 2019年11月17日,下午4:14,Henry <[hidden email]> 写道: >>>> >>>> >>>> >>>> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 >>>> 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 >>>> >>>> >>>> >>>> >>>> >>>> 在 2019-11-17 16:05:29,[hidden email] 写道: >>>>> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。 >>>>> >>>>> 发自我的iPhone >>>>> >>>>>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道: >>>>>> >>>>>> >>>>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 >>>>>> 详情图片如下: >>>>>> https://img-blog.csdnimg.cn/20191115175027258.png >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>>>>> >>> > |
Free forum by Nabble | Edit this page |