Flink 的 log 文件夹下产生了 34G 日志

classic Classic list List threaded Threaded
17 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink 的 log 文件夹下产生了 34G 日志

Henry
您好!


请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G log,没看出来这是因为啥导致的,
谢谢大家了。
日志内容如下:
https://img-blog.csdnimg.cn/20191028155219828.png


https://img-blog.csdnimg.cn/20191028155224293.png


https://img-blog.csdnimg.cn/20191028155227494.png



 
Reply | Threaded
Open this post in threaded view
|

Re: Flink 的 log 文件夹下产生了 34G 日志

Dian Fu
之前有过类似问题,你看一下这个回复,对你是否有帮助:http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724 <http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724>



> 在 2019年10月28日,下午3:54,Henry <[hidden email]> 写道:
>
> 您好!
>
>
> 请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G log,没看出来这是因为啥导致的,
> 谢谢大家了。
> 日志内容如下:
> https://img-blog.csdnimg.cn/20191028155219828.png
>
>
> https://img-blog.csdnimg.cn/20191028155224293.png
>
>
> https://img-blog.csdnimg.cn/20191028155227494.png
>
>
>

Reply | Threaded
Open this post in threaded view
|

Re:Re: Flink 的 log 文件夹下产生了 34G 日志

Henry


谢谢您。不过连接打不开呀。

http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724







在 2019-10-28 20:02:21,"Dian Fu" <[hidden email]> 写道:

>之前有过类似问题,你看一下这个回复,对你是否有帮助:http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724 <http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724>
>
>
>
>> 在 2019年10月28日,下午3:54,Henry <[hidden email]> 写道:
>>
>> 您好!
>>
>>
>> 请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G log,没看出来这是因为啥导致的,
>> 谢谢大家了。
>> 日志内容如下:
>> https://img-blog.csdnimg.cn/20191028155219828.png
>>
>>
>> https://img-blog.csdnimg.cn/20191028155224293.png
>>
>>
>> https://img-blog.csdnimg.cn/20191028155227494.png
>>
>>
>>
>
Reply | Threaded
Open this post in threaded view
|

Re: Flink 的 log 文件夹下产生了 34G 日志

Dian Fu
我这边是正常的,那你试下这个链接:http://mail-archives.apache.org/mod_mbox/flink-user-zh/201909.mbox/%3C465086DB-1679-4DD9-AAB5-086BB403915D@...%3E <http://mail-archives.apache.org/mod_mbox/flink-user-zh/201909.mbox/%3C465086DB-1679-4DD9-AAB5-086BB403915D@...%3E>

> 在 2019年10月28日,下午10:00,Henry <[hidden email]> 写道:
>
>
>
> 谢谢您。不过连接打不开呀。
>
> http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724
>
>
>
>
>
>
>
> 在 2019-10-28 20:02:21,"Dian Fu" <[hidden email]> 写道:
>> 之前有过类似问题,你看一下这个回复,对你是否有帮助:http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724 <http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724>
>>
>>
>>
>>> 在 2019年10月28日,下午3:54,Henry <[hidden email]> 写道:
>>>
>>> 您好!
>>>
>>>
>>> 请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G log,没看出来这是因为啥导致的,
>>> 谢谢大家了。
>>> 日志内容如下:
>>> https://img-blog.csdnimg.cn/20191028155219828.png
>>>
>>>
>>> https://img-blog.csdnimg.cn/20191028155224293.png
>>>
>>>
>>> https://img-blog.csdnimg.cn/20191028155227494.png
>>>
>>>
>>>
>>

Reply | Threaded
Open this post in threaded view
|

Re:Re: Flink 的 log 文件夹下产生了 34G 日志

Henry



哇,非常感谢,打开了。我研究一下,感谢啦





在 2019-10-28 23:23:57,"Dian Fu" <[hidden email]> 写道:

>我这边是正常的,那你试下这个链接:http://mail-archives.apache.org/mod_mbox/flink-user-zh/201909.mbox/%3C465086DB-1679-4DD9-AAB5-086BB403915D@...%3E <http://mail-archives.apache.org/mod_mbox/flink-user-zh/201909.mbox/%3C465086DB-1679-4DD9-AAB5-086BB403915D@...%3E>
>> 在 2019年10月28日,下午10:00,Henry <[hidden email]> 写道:
>>
>>
>>
>> 谢谢您。不过连接打不开呀。
>>
>> http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724
>>
>>
>>
>>
>>
>>
>>
>> 在 2019-10-28 20:02:21,"Dian Fu" <[hidden email]> 写道:
>>> 之前有过类似问题,你看一下这个回复,对你是否有帮助:http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724 <http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724>
>>>
>>>
>>>
>>>> 在 2019年10月28日,下午3:54,Henry <[hidden email]> 写道:
>>>>
>>>> 您好!
>>>>
>>>>
>>>> 请问一下,发现flink任务失败了,然后程序自己重启也失败,然后就不停的写日志。产生了 34G log,没看出来这是因为啥导致的,
>>>> 谢谢大家了。
>>>> 日志内容如下:
>>>> https://img-blog.csdnimg.cn/20191028155219828.png
>>>>
>>>>
>>>> https://img-blog.csdnimg.cn/20191028155224293.png
>>>>
>>>>
>>>> https://img-blog.csdnimg.cn/20191028155227494.png
>>>>
>>>>
>>>>
>>>
>
Reply | Threaded
Open this post in threaded view
|

通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

Henry
In reply to this post by Dian Fu
大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。  谢谢大家。
详情图片如下:




 

Reply | Threaded
Open this post in threaded view
|

通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

Henry
In reply to this post by Dian Fu
大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。  谢谢大家。
详情图片如下:




 



 

Reply | Threaded
Open this post in threaded view
|

Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

allan
提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。

发自我的iPhone

> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道:
>
> 
> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。  谢谢大家。
> 详情图片如下:
> https://img-blog.csdnimg.cn/20191115175027258.png
>
>
>
>
>  
>
>
>
>  
Reply | Threaded
Open this post in threaded view
|

Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

Henry


是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个
程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。





在 2019-11-17 16:05:29,[hidden email] 写道:

>提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。
>
>发自我的iPhone
>
>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道:
>>
>> 
>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。  谢谢大家。
>> 详情图片如下:
>> https://img-blog.csdnimg.cn/20191115175027258.png
>>
>>
>>
>>
>>  
>>
>>
>>
>>  
Reply | Threaded
Open this post in threaded view
|

Re:Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

allan

你的job running 中确实是两个job,但是name都是一样的,我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字,就可以看出来了。 -ynm YourJobName,你再观察一下。





在 2019-11-17 16:14:32,"Henry" <[hidden email]> 写道: > > >是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 >程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 > > > > > >在 2019-11-17 16:05:29,[hidden email] 写道: >>提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。 >> >>发自我的iPhone >> >>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道: >>> >>>  >>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 >>> 详情图片如下: >>> https://img-blog.csdnimg.cn/20191115175027258.png >>> >>> >>> >>> >>> >>> >>> >>> >>>



 

Reply | Threaded
Open this post in threaded view
|

Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

Henry

谢谢您的帮助,您贴的图碎了,看不到呢。 然后我按您说的试了一下,还是不行呢,您看我操作的对不对哈。谢谢
截图:
https://img-blog.csdnimg.cn/20191118085832554.png




在 2019-11-17 16:30:46,"allanQin" <[hidden email]> 写道:

你的job running 中确实是两个job,但是name都是一样的,我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字,就可以看出来了。 -ynm YourJobName,你再观察一下。





在 2019-11-17 16:14:32,"Henry" <[hidden email]> 写道: > > >是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个 >程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。 > > > > > >在 2019-11-17 16:05:29,[hidden email] 写道: >>提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。 >> >>发自我的iPhone >> >>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道: >>> >>>  >>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。 谢谢大家。 >>> 详情图片如下: >>> https://img-blog.csdnimg.cn/20191115175027258.png >>> >>> >>> >>> >>> >>> >>> >>> >>>



 



 

Reply | Threaded
Open this post in threaded view
|

Re: Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

lhtle@126.com
提交了两个job,分别在两个不同的application上,注意切换一下flink web dashboard的地址。




[hidden email]
 
发件人: Henry
发送时间: 2019-11-18 08:59
收件人: user-zh
主题: Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

谢谢您的帮助,您贴的图碎了,看不到呢。 然后我按您说的试了一下,还是不行呢,您看我操作的对不对哈。谢谢
截图:
https://img-blog.csdnimg.cn/20191118085832554.png




在 2019-11-17 16:30:46,"allanQin" <[hidden email]> 写道:

你的job running 中确实是两个job,但是name都是一样的,我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字,就可以看出来了。 -ynm YourJobName,你再观察一下。





在 2019-11-17 16:14:32,"Henry" <[hidden email]> 写道:

>
>
>是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个
>程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。
>
>
>
>
>
>在 2019-11-17 16:05:29,[hidden email] 写道:
>>提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。
>>
>>发自我的iPhone
>>
>>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道:
>>>
>>> 
>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。  谢谢大家。
>>> 详情图片如下:
>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>>
>>>
>>>
>>>
>>>  
>>>
>>>
>>>
>>>  




 


 
Reply | Threaded
Open this post in threaded view
|

Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

allan
我还是没有搞明白你的意思,你job里面已经是两个了。打开每一个都是对应的信息。因为你启动的是同一个class所以相当于是同一个任务只是消费数据不用。你可以换一个class ,不知道是不是我说的这个意思。

发自我的iPhone

> 在 2019年11月18日,上午10:06,"[hidden email]" <[hidden email]> 写道:
>
> 提交了两个job,分别在两个不同的application上,注意切换一下flink web dashboard的地址。
>
>
>
>
> [hidden email]
>
> 发件人: Henry
> 发送时间: 2019-11-18 08:59
> 收件人: user-zh
> 主题: Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务
>
> 谢谢您的帮助,您贴的图碎了,看不到呢。 然后我按您说的试了一下,还是不行呢,您看我操作的对不对哈。谢谢
> 截图:
> https://img-blog.csdnimg.cn/20191118085832554.png
>
>
>
>
> 在 2019-11-17 16:30:46,"allanQin" <[hidden email]> 写道:
>
> 你的job running 中确实是两个job,但是name都是一样的,我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字,就可以看出来了。 -ynm YourJobName,你再观察一下。
>
>
>
>
>
>> 在 2019-11-17 16:14:32,"Henry" <[hidden email]> 写道:
>>
>>
>> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个
>> 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。
>>
>>
>>
>>
>>
>>> 在 2019-11-17 16:05:29,[hidden email] 写道:
>>> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。
>>>
>>> 发自我的iPhone
>>>
>>>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道:
>>>>
>>>> 
>>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。  谢谢大家。
>>>> 详情图片如下:
>>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>
>
>
>
>
>
>
>
Reply | Threaded
Open this post in threaded view
|

Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

aihua li
In reply to this post by Henry
看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了

> 在 2019年11月17日,下午4:14,Henry <[hidden email]> 写道:
>
>
>
> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个
> 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。
>
>
>
>
>
> 在 2019-11-17 16:05:29,[hidden email] 写道:
>> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。
>>
>> 发自我的iPhone
>>
>>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道:
>>>
>>> 
>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。  谢谢大家。
>>> 详情图片如下:
>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>

Reply | Threaded
Open this post in threaded view
|

Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

Henry



哦哦,太感谢了,我刚注意到链接是 http://slave1:41921/#/overview 。 但是有俩小疑问哈,第一个是,这个“41921”端口号是在哪里看到的呢? 第二个是,假如我只有slave1、slave2两台机器,但是我现在写好了三个Flink程序,然后
要提交到 yarn 上运行,那么我是不是最多也就可以看到两个 running job ? 还是虽然其中两个程序虽然在同一个节点上,但是他们的端口号是不同的,可能是 slave1:1000 对应一个程序,slave2:2000对应一个程序,通过链接进入不同
的页面查看?






在 2019-11-18 13:44:09,"aihua li" <[hidden email]> 写道:

>看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了
>
>> 在 2019年11月17日,下午4:14,Henry <[hidden email]> 写道:
>>
>>
>>
>> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个
>> 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。
>>
>>
>>
>>
>>
>> 在 2019-11-17 16:05:29,[hidden email] 写道:
>>> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。
>>>
>>> 发自我的iPhone
>>>
>>>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道:
>>>>
>>>> 
>>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。  谢谢大家。
>>>> 详情图片如下:
>>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>
Reply | Threaded
Open this post in threaded view
|

Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

aihua li
这个跟每个job申请的资源有关,如果三个job申请的总资源数小于yarn总的资源,那么三个job是可以同时running,否则会有job因为资源申请不到而处于accepted状态
资源足够的话两个job是可以调度到一台机器上的,只是端口号不同而已,可以从yarn页面上通过链接进入不同的页面查看

> 在 2019年11月18日,下午3:54,Henry <[hidden email]> 写道:
>
>
>
>
> 哦哦,太感谢了,我刚注意到链接是 http://slave1:41921/#/overview 。 但是有俩小疑问哈,第一个是,这个“41921”端口号是在哪里看到的呢? 第二个是,假如我只有slave1、slave2两台机器,但是我现在写好了三个Flink程序,然后
> 要提交到 yarn 上运行,那么我是不是最多也就可以看到两个 running job ? 还是虽然其中两个程序虽然在同一个节点上,但是他们的端口号是不同的,可能是 slave1:1000 对应一个程序,slave2:2000对应一个程序,通过链接进入不同
> 的页面查看?
>
>
>
>
>
>
> 在 2019-11-18 13:44:09,"aihua li" <[hidden email]> 写道:
>> 看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了
>>
>>> 在 2019年11月17日,下午4:14,Henry <[hidden email]> 写道:
>>>
>>>
>>>
>>> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个
>>> 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。
>>>
>>>
>>>
>>>
>>>
>>> 在 2019-11-17 16:05:29,[hidden email] 写道:
>>>> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。
>>>>
>>>> 发自我的iPhone
>>>>
>>>>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道:
>>>>>
>>>>> 
>>>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。  谢谢大家。
>>>>> 详情图片如下:
>>>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>

Reply | Threaded
Open this post in threaded view
|

Re:Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务

Henry



终于搞明白了,太感谢啦





在 2019-11-18 16:09:32,"aihua li" <[hidden email]> 写道:

>这个跟每个job申请的资源有关,如果三个job申请的总资源数小于yarn总的资源,那么三个job是可以同时running,否则会有job因为资源申请不到而处于accepted状态
>资源足够的话两个job是可以调度到一台机器上的,只是端口号不同而已,可以从yarn页面上通过链接进入不同的页面查看
>
>> 在 2019年11月18日,下午3:54,Henry <[hidden email]> 写道:
>>
>>
>>
>>
>> 哦哦,太感谢了,我刚注意到链接是 http://slave1:41921/#/overview 。 但是有俩小疑问哈,第一个是,这个“41921”端口号是在哪里看到的呢? 第二个是,假如我只有slave1、slave2两台机器,但是我现在写好了三个Flink程序,然后
>> 要提交到 yarn 上运行,那么我是不是最多也就可以看到两个 running job ? 还是虽然其中两个程序虽然在同一个节点上,但是他们的端口号是不同的,可能是 slave1:1000 对应一个程序,slave2:2000对应一个程序,通过链接进入不同
>> 的页面查看?
>>
>>
>>
>>
>>
>>
>> 在 2019-11-18 13:44:09,"aihua li" <[hidden email]> 写道:
>>> 看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了
>>>
>>>> 在 2019年11月17日,下午4:14,Henry <[hidden email]> 写道:
>>>>
>>>>
>>>>
>>>> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在 Flink Web 页面里的 Running Job 中只有最后提交的那个
>>>> 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。
>>>>
>>>>
>>>>
>>>>
>>>>
>>>> 在 2019-11-17 16:05:29,[hidden email] 写道:
>>>>> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。
>>>>>
>>>>> 发自我的iPhone
>>>>>
>>>>>> 在 2019年11月17日,下午2:51,Henry <[hidden email]> 写道:
>>>>>>
>>>>>> 
>>>>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的 app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在 Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了 1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running 状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。  谢谢大家。
>>>>>> 详情图片如下:
>>>>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>
>