你好,正常情况下flink on yarn 的container 日志中应该有.err .out .log 这三个日志,你贴的这个-slog.file 应该就是jobmanager .log 的位置,但是我这个程序是没有.log日志这个文件的,只有err 和out ,我试着在程序containner 里查看日志,发现能正常显示日志的container 中有以上三种日志,不能正常显示日志的程序中,只有两个日志,没有.log日志文件。所以也看不到运行时的一些info信息。我觉得这个是yarn创建的日志文件,目前还没找到原因。我尝试过运行两个一模一样的程序,打成两个jar 包,但是其中一个正常,另一个不正常,这种情况不影响程序运行,只是缺一些日志。
------------------ 原始邮件 ------------------
发送时间: 2021年6月4日 18:17
主题: 回复:flink1.12版本,yarn-application模式Flink web ui看不到日志
上封,复制错了,更正下,看时间顺序。 日志启动
2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint.
ClusterEntrypoint [] - -Dlog
.file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log
cluster 启动
2021-06-04 17:38:15,425 INFO org.apache.flink.runtime.entrypoint.
ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client user
obtainer: hdfs
r pp <
[hidden email]> 于2021年6月4日周五 下午6:11写道:
> 嗨~
> 我这边是 per-job on yarn 的mode
>
> 我查看的 yarn 的container 的日志信息,一般在程序初始化的时候,就会生产日志名,日志路径,变成环境env,
> 然后 形成config ,再启动 cluster。
>
> 而日志路径 是yarn 的配置模式取好的,之后 flink 的获取这个信息,用于web 展示。
>
> 所以,你可能需要定位 你的日志文件路径 是否有改变,我做test,改变日志名,flink-web 还是可以正常显示
> ,但是改变路径,flink-web 就无法显示了
>
> 但是具体的差异可能无法细化了,所提供的信息太少
> env 环境信息
> 2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint.
> ClusterEntrypoint [] - -Dlog
> .file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log
> cluster 启动信息
> 2021-06-04 16:47:01,429 INFO org.apache.flink.runtime.entrypoint.
> ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client user
> obtainer: hdfs
>
> zilong xiao <
[hidden email]> 于2021年6月3日周四 下午2:17写道:
>
>> 1.10默认用的log4j1,1.12用log4j2
>>
>> smq <
[hidden email]> 于2021年6月2日周三 下午3:26写道:
>>
>> >
>> >
>> 你的意思是在log4j.properties中的配置吗,我门在这个里边配置了生成日志文件的格式,是在安装节点里加的,不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的,但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12,这种情况在1.12出现的
>> >
>> >
>> >
>> >
>> >
>> > ------------------ 原始邮件 ------------------
>> > 发件人: r pp <
[hidden email]>
>> > 发送时间: 2021年6月2日 15:08
>> > 收件人: user-zh <
[hidden email]>
>> > 主题: 回复:flink1.12版本,yarn-application模式Flink web ui看不到日志
>> >
>> >
>> >
>> > 嗨~ 你们有没有改日志文件的名字
>> >
>> > smq <
[hidden email]> 于2021年6月2日周三 下午12:24写道:
>> >
>> > > 你这个解决了吗,我也遇到了同样的问题
>> > >
>> > >
>> > >
>> > >
>> > >
>> > > ------------------ 原始邮件 ------------------
>> > > 发件人: todd <
[hidden email]&gt;
>> > > 发送时间: 2021年4月14日 19:11
>> > > 收件人: user-zh <
[hidden email]&gt;
>> > > 主题: 回复:flink1.12版本,yarn-application模式Flink web ui看不到日志
>> > >
>> > >
>> > >
>> > > yarn上只有.out,.error的日志信息,但是从flink web ui的log框,无法显示日志内容。
>> > >
>> > >
>> > >
>> > > --
>> > > Sent from:
http://apache-flink.147419.n8.nabble.com/>> >
>> >
>> >
>> > --
>> > Best,
>> > pp
>>
>
>
> --
> Best,
> pp
>
--
Best,
pp