taskmanager.out配置滚动

classic Classic list List threaded Threaded
9 messages Options
Reply | Threaded
Open this post in threaded view
|

taskmanager.out配置滚动

zilong xiao
想问下社区的大佬,标准输出文件taskmanager.out可以配置成滚动的吗?
Reply | Threaded
Open this post in threaded view
|

Re: taskmanager.out配置滚动

Yang Wang
目前是支持不了的,因为STDOUT/STDERR本身并不是通过slf4j来写的
如果要支持是需要在Flink代码里面将Stdout重定向之后,再配置log4j才能解决

Best,
Yang

zilong xiao <[hidden email]> 于2020年12月3日周四 下午7:50写道:

> 想问下社区的大佬,标准输出文件taskmanager.out可以配置成滚动的吗?
>
Reply | Threaded
Open this post in threaded view
|

Re: taskmanager.out配置滚动

zilong xiao
好的,了解了,感谢您的解答

Yang Wang <[hidden email]> 于2020年12月4日周五 上午10:33写道:

> 目前是支持不了的,因为STDOUT/STDERR本身并不是通过slf4j来写的
> 如果要支持是需要在Flink代码里面将Stdout重定向之后,再配置log4j才能解决
>
> Best,
> Yang
>
> zilong xiao <[hidden email]> 于2020年12月3日周四 下午7:50写道:
>
> > 想问下社区的大佬,标准输出文件taskmanager.out可以配置成滚动的吗?
> >
>
Reply | Threaded
Open this post in threaded view
|

Re: taskmanager.out配置滚动

李杰
In reply to this post by zilong xiao
Hi,
这个功能我们之前做过,可以看下这里。
https://issues.apache.org/jira/browse/FLINK-20713

zilong xiao <[hidden email]> 于2020年12月3日周四 下午7:50写道:

> 想问下社区的大佬,标准输出文件taskmanager.out可以配置成滚动的吗?
>
Reply | Threaded
Open this post in threaded view
|

Re: taskmanager.out配置滚动

zilong xiao
恩恩,这个场景是有的,目前看是可以通过重定向后实现,follow issue~

李杰 <[hidden email]> 于2020年12月22日周二 下午3:58写道:

> Hi,
> 这个功能我们之前做过,可以看下这里。
> https://issues.apache.org/jira/browse/FLINK-20713
>
> zilong xiao <[hidden email]> 于2020年12月3日周四 下午7:50写道:
>
> > 想问下社区的大佬,标准输出文件taskmanager.out可以配置成滚动的吗?
> >
>
Reply | Threaded
Open this post in threaded view
|

Re: taskmanager.out配置滚动

Yang Wang
之前在社区我提过一次redirect的方案,但其他人有一些concerns,可以参考一下

https://github.com/apache/flink/pull/11839#pullrequestreview-399769862

zilong xiao <[hidden email]> 于2020年12月22日周二 下午4:13写道:

> 恩恩,这个场景是有的,目前看是可以通过重定向后实现,follow issue~
>
> 李杰 <[hidden email]> 于2020年12月22日周二 下午3:58写道:
>
> > Hi,
> > 这个功能我们之前做过,可以看下这里。
> > https://issues.apache.org/jira/browse/FLINK-20713
> >
> > zilong xiao <[hidden email]> 于2020年12月3日周四 下午7:50写道:
> >
> > > 想问下社区的大佬,标准输出文件taskmanager.out可以配置成滚动的吗?
> > >
> >
>
Reply | Threaded
Open this post in threaded view
|

回复: Re: taskmanager.out配置滚动

1101300123
1.11可以



发自vivo智能手机

> 之前在社区我提过一次redirect的方案,但其他人有一些concerns,可以参考一下
>
> https://github.com/apache/flink/pull/11839#pullrequestreview-399769862 
>
> zilong xiao <[hidden email]> 于2020年12月22日周二 下午4:13写道:
>
> > 恩恩,这个场景是有的,目前看是可以通过重定向后实现,follow issue~
> >
> > 李杰 <[hidden email]> 于2020年12月22日周二 下午3:58写道:
> >
> > > Hi,
> > > 这个功能我们之前做过,可以看下这里。
> > > https://issues.apache.org/jira/browse/FLINK-20713 
> > >
> > > zilong xiao <[hidden email]> 于2020年12月3日周四 下午7:50写道:
> > >
> > > > 想问下社区的大佬,标准输出文件taskmanager.out可以配置成滚动的吗?
> > > >
> > >
> >
Reply | Threaded
Open this post in threaded view
|

Re: Re: taskmanager.out配置滚动

zilong xiao
为啥1.11可以呢?

hdxg1101300123 <[hidden email]> 于2020年12月23日周三 下午1:51写道:

> 1.11可以
>
>
>
> 发自vivo智能手机
> > 之前在社区我提过一次redirect的方案,但其他人有一些concerns,可以参考一下
> >
> > https://github.com/apache/flink/pull/11839#pullrequestreview-399769862
> >
> > zilong xiao <[hidden email]> 于2020年12月22日周二 下午4:13写道:
> >
> > > 恩恩,这个场景是有的,目前看是可以通过重定向后实现,follow issue~
> > >
> > > 李杰 <[hidden email]> 于2020年12月22日周二 下午3:58写道:
> > >
> > > > Hi,
> > > > 这个功能我们之前做过,可以看下这里。
> > > > https://issues.apache.org/jira/browse/FLINK-20713
> > > >
> > > > zilong xiao <[hidden email]> 于2020年12月3日周四 下午7:50写道:
> > > >
> > > > > 想问下社区的大佬,标准输出文件taskmanager.out可以配置成滚动的吗?
> > > > >
> > > >
> > >
>
Reply | Threaded
Open this post in threaded view
|

Re: Re: taskmanager.out配置滚动

李杰
我们修改了flinkonyarn, 使得taskmanager.out 和 taskmanager.err /
jobmanager.err支持文件滚动。

zilong xiao <[hidden email]> 于2020年12月23日周三 下午2:05写道:

> 为啥1.11可以呢?
>
> hdxg1101300123 <[hidden email]> 于2020年12月23日周三 下午1:51写道:
>
> > 1.11可以
> >
> >
> >
> > 发自vivo智能手机
> > > 之前在社区我提过一次redirect的方案,但其他人有一些concerns,可以参考一下
> > >
> > > https://github.com/apache/flink/pull/11839#pullrequestreview-399769862
> > >
> > > zilong xiao <[hidden email]> 于2020年12月22日周二 下午4:13写道:
> > >
> > > > 恩恩,这个场景是有的,目前看是可以通过重定向后实现,follow issue~
> > > >
> > > > 李杰 <[hidden email]> 于2020年12月22日周二 下午3:58写道:
> > > >
> > > > > Hi,
> > > > > 这个功能我们之前做过,可以看下这里。
> > > > > https://issues.apache.org/jira/browse/FLINK-20713
> > > > >
> > > > > zilong xiao <[hidden email]> 于2020年12月3日周四 下午7:50写道:
> > > > >
> > > > > > 想问下社区的大佬,标准输出文件taskmanager.out可以配置成滚动的吗?
> > > > > >
> > > > >
> > > >
> >
>