Apache Flink 中文用户邮件列表

flink per job taskmanager 日志查看问题

Classic

List

Threaded

4 messages Options

automths

flink per job taskmanager 日志查看问题

Hi:

请教一个问题，我flink(1.12.0) 以per-job的方式运行在yarn上，在yarn的web UI(jobhistory)上只能看到jobmanager.log以及jobmanager.err，看不到taskmanager有关的日志。我用yarn logs -applicationId appId命令可以查看到taskmanager.log的日志。
这样的问题是yarn的问题还是flink 日志设置的问题？有哪位同学处理过？怎么处理的？

感谢。

新春快乐
automths

471419897

回复：flink per job taskmanager 日志查看问题

（1）可以用 Flink Web UI 查看 Job Manager 和 Task Manager 的日志。

客户端提交 per-job 任务成功后，输出的信息中最后会包含 Flink Web UI 的地址，信息类似于：Found Web Interface xxx(ip):xx(port) of application 'application_XXXX_XXX'.
然后浏览器访问 Flink Web UI 地址：xxx(ip):xx(port)，左侧导航栏会有 Job Manager 和 Task Manager 的选项。

（2）或者可以在 yarn-site.xml 配置文件中的配置项 yarn.nodemanager.log-dirs 配置的路径下找到 application_XXXX_XXX 的日志，里面是每个 container 的日志，在你的任务对应的 container 日志下，可以看到 Job Manager 和 Task Manager 的日志。如果没有配置 yarn.nodemanager.log-dirs，则默认路径为：$HADOOP_HOME/logs/userlogs。

Best,
jjiey

------------------ 原始邮件 ------------------
发件人: "automths"<[hidden email]>;
发送时间: 2021年2月9日(星期二) 下午5:29
收件人: "user-zh"<[hidden email]>;
主题: flink per job taskmanager 日志查看问题

Hi:

请教一个问题，我flink(1.12.0) 以per-job的方式运行在yarn上，在yarn的web UI(jobhistory)上只能看到jobmanager.log以及jobmanager.err，看不到taskmanager有关的日志。我用yarn logs -applicationId appId命令可以查看到taskmanager.log的日志。
这样的问题是yarn的问题还是flink 日志设置的问题？有哪位同学处理过？怎么处理的？

感谢。

新春快乐
automths

471419897

回复：flink per job taskmanager 日志查看问题

In reply to this post by automths

（1）可以用 Flink Web UI 查看 Job Manager 和 Task Manager 的日志。

客户端提交 per-job 任务成功后，输出的信息中最后会包含 Flink Web UI 的地址，信息类似于：Found Web Interface xxx(ip):xx(port) of application 'application_XXXX_XXX'.
然后浏览器访问 Flink Web UI 地址：xxx(ip):xx(port)，左侧导航栏会有 Job Manager 和 Task Manager 的选项。

（2）或者可以在 yarn-site.xml 配置文件中的配置项 yarn.nodemanager.log-dirs 配置的路径下找到 application_XXXX_XXX 的日志，里面是每个 container 的日志，在你的任务对应的 container 日志下，可以看到 Job Manager 和 Task Manager 的日志。如果没有配置 yarn.nodemanager.log-dirs，则默认路径为：$HADOOP_HOME/logs/userlogs。

Best,
jjiey

------------------ 原始邮件 ------------------
发件人: "user-zh" <[hidden email]>;
发送时间: 2021年2月9日(星期二) 下午5:29
收件人: "[hidden email]"<[hidden email]>;

主题: flink per job taskmanager 日志查看问题

Hi:

请教一个问题，我flink(1.12.0) 以per-job的方式运行在yarn上，在yarn的web UI(jobhistory)上只能看到jobmanager.log以及jobmanager.err，看不到taskmanager有关的日志。我用yarn logs -applicationId appId命令可以查看到taskmanager.log的日志。
这样的问题是yarn的问题还是flink 日志设置的问题？有哪位同学处理过？怎么处理的？

感谢。

新春快乐
automths

automths

回复：flink per job taskmanager 日志查看问题

Hi:

好的，我按照你说的去寻找一下，非常感谢。

祝好！
automths

在2021年02月9日 22:33，471419897<[hidden email]> 写道：
（1）可以用 Flink Web UI 查看 Job Manager 和 Task Manager 的日志。

客户端提交 per-job 任务成功后，输出的信息中最后会包含 Flink Web UI 的地址，信息类似于：Found Web Interface xxx(ip):xx(port) of application 'application_XXXX_XXX'.
然后浏览器访问 Flink Web UI 地址：xxx(ip):xx(port)，左侧导航栏会有 Job Manager 和 Task Manager 的选项。

（2）或者可以在 yarn-site.xml 配置文件中的配置项 yarn.nodemanager.log-dirs 配置的路径下找到 application_XXXX_XXX 的日志，里面是每个 container 的日志，在你的任务对应的 container 日志下，可以看到 Job Manager 和 Task Manager 的日志。如果没有配置 yarn.nodemanager.log-dirs，则默认路径为：$HADOOP_HOME/logs/userlogs。

Best,
jjiey

------------------ 原始邮件 ------------------
发件人: "user-zh" <[hidden email]>;
发送时间: 2021年2月9日(星期二) 下午5:29
收件人: "[hidden email]"<[hidden email]>;

主题: flink per job taskmanager 日志查看问题

Hi:

请教一个问题，我flink(1.12.0) 以per-job的方式运行在yarn上，在yarn的web UI(jobhistory)上只能看到jobmanager.log以及jobmanager.err，看不到taskmanager有关的日志。我用yarn logs -applicationId appId命令可以查看到taskmanager.log的日志。
这样的问题是yarn的问题还是flink 日志设置的问题？有哪位同学处理过？怎么处理的？

感谢。

新春快乐
automths