Re: flink 1.11 日志不能正常打印问题

classic Classic list List threaded Threaded
8 messages Options
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.11 日志不能正常打印问题

shizk233
flink框架里用的slf4j吧,log4j2只是一种具体实现,应该是可以直接替换掉的。
就是把flink发行包下log4j2相关的jar替换成log4j的jar,当然,相应的配置文件也要改成log4j支持的配置。

caozhen <[hidden email]> 于2020年8月13日周四 下午3:39写道:

> flink1.11好像是用的log4j2,我的mainjar用到了log4j,  两者类有冲突,导致JM、TM日志为空。
>
> SLF4J: Class path contains multiple SLF4J bindings.
> SLF4J: Found binding in
> [jar:file:/opt/job.jar!/org/slf4j/impl/StaticLoggerBinder.class]
> SLF4J: Found binding in
>
> [jar:file:/opt/flink-1.11.1-k8s/lib/log4j-slf4j-impl-2.12.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
> SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an
> explanation.
>
> 目前
> 1、mainjar中的log4j不能完全去掉,毕竟有很多地方在用,而且后期新增依赖也有可能会用,不太可行
>
>
> 大家又啥好办法嘛
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.11 日志不能正常打印问题

caozhen
恩,是这样,把mainjar中log4j的依赖挨个都provided了。



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.11 日志不能正常打印问题

zilong xiao
hi caozhen
想问下你最终是用log4j 还是 log4j2作为日志输出框架呢?我在使用log4j2时遇到一些问题,希望能一起探讨下~

caozhen <[hidden email]> 于2020年8月14日周五 上午9:25写道:

> 恩,是这样,把mainjar中log4j的依赖挨个都provided了。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.11 日志不能正常打印问题

caozhen
我最后用的是log4j2。

之前mainjar中有很多log4j的依赖(slf4j-log4j12),而flink客户端lib下是log4j2的依赖(log4j-slf4j-impl),导致了冲突,不能打印日志。

改动:把mainjar中的log4j的依赖改成provided,使用了客户端提供的log4j2依赖



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.11 日志不能正常打印问题

zilong xiao
想问下你是用的什么类型的配置 xml、yaml还是properties呢?

caozhen <[hidden email]> 于2020年8月14日周五 上午9:58写道:

> 我最后用的是log4j2。
>
>
> 之前mainjar中有很多log4j的依赖(slf4j-log4j12),而flink客户端lib下是log4j2的依赖(log4j-slf4j-impl),导致了冲突,不能打印日志。
>
> 改动:把mainjar中的log4j的依赖改成provided,使用了客户端提供的log4j2依赖
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.11 日志不能正常打印问题

caozhen
log4j2的配置:我是直接用的flink1.11.1客户端提供的log4j-console.properties。

如果你是用的xml、yaml文件,在客户端提交作业时可能要指定一下日志文件,也可以改下flink启动脚本的日志设置



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.11 日志不能正常打印问题

zilong xiao
我也是用的properties配置文件,可是日志貌似没收集到,有什么方法可以判断配置文件是否生效吗 ?

caozhen <[hidden email]> 于2020年8月14日周五 上午10:23写道:

> log4j2的配置:我是直接用的flink1.11.1客户端提供的log4j-console.properties。
>
> 如果你是用的xml、yaml文件,在客户端提交作业时可能要指定一下日志文件,也可以改下flink启动脚本的日志设置
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.11 日志不能正常打印问题

caozhen
我觉得可以看下用什么命令启动的,进到启动脚本里,跟踪下log的设置。

例如我用的standalone-job.sh start-forground启动, 跟踪到flink-console.sh 中,能看到具体log设置




zilong xiao wrote
> 我也是用的properties配置文件,可是日志貌似没收集到,有什么方法可以判断配置文件是否生效吗 ?
>
> caozhen &lt;

> caozhen1937@

> &gt; 于2020年8月14日周五 上午10:23写道:
>
>> log4j2的配置:我是直接用的flink1.11.1客户端提供的log4j-console.properties。
>>
>> 如果你是用的xml、yaml文件,在客户端提交作业时可能要指定一下日志文件,也可以改下flink启动脚本的日志设置
>>
>>
>>
>> --
>> Sent from: http://apache-flink.147419.n8.nabble.com/





--
Sent from: http://apache-flink.147419.n8.nabble.com/