flink1.11日志上报

[Dream-底限]

hi、
我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪

[Cayden chen]

我们的获取逻辑是通过自定义 logback的appder( flink 默认的应该是log4j，对应配置在安装目录的conf下面)，appder通过解析当前系统路径(因为flink每个taskmanager会自己定义一个带有applicationId的路径，然后里面会放各种jar包，包括我自定义的appder)，获取之后通过MDC.put(),给日志加一列appId，在appder里面把日志上报到外部的日志系统




------------------ 原始邮件 ------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年7月24日(星期五) 上午10:49
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;flink1.11日志上报



hi、
我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪

[Dream-底限]

hi Cayden chen、
也就是说你们日志上报的实现方式是实现自定义appder来实现是吧，这确实是一个不错的方式；
我先前看spark可以实现对应的listener用来实现日志上报，查看了一下flink
api貌似也有对应listen，具体是实现哪一个还不知道，现在我们还处在一个功能整理阶段


Cayden chen <[hidden email]> 于2020年7月24日周五 上午10:53写道：

> 我们的获取逻辑是通过自定义 logback的appder( flink
> 默认的应该是log4j，对应配置在安装目录的conf下面)，appder通过解析当前系统路径(因为flink每个taskmanager会自己定义一个带有applicationId的路径，然后里面会放各种jar包，包括我自定义的appder)，获取之后通过MDC.put(),给日志加一列appId，在appder里面把日志上报到外部的日志系统
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> [hidden email]&gt;;
> 发送时间:&nbsp;2020年7月24日(星期五) 上午10:49
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;flink1.11日志上报
>
>
>
> hi、
>
> 我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪

[zilong xiao]

这个可以用配置文件实现，利用kafka
appender将日志打到kafka中，然后自己去消费kafka处理即可，1.11中支持log4j2了，建议使用log4j2

Dream-底限 <[hidden email]> 于2020年7月24日周五 上午10:50写道：

> hi、
>
> 我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪
>

[Storm☀️]

我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[zhisheng]

弱弱的问一下，你们集群作业数量大概多少？因为用户可能打印原始数据在日志里面，这个数据量确实还是很大的，全部将日志打到 ES 每月需要多少成本啊？

Storm☀️ <[hidden email]> 于2020年10月27日周二 下午8:37写道：

> 我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>

[m13162790856]

我们这边也是这样搜集日志上报  es 保留最近一个月的数据不回保留全部数据


在 2020年10月27日 20:48，zhisheng<[hidden email]> 写道：


弱弱的问一下，你们集群作业数量大概多少？因为用户可能打印原始数据在日志里面，这个数据量确实还是很大的，全部将日志打到 ES 每月需要多少成本啊？ Storm☀️ <[hidden email]> 于2020年10月27日周二 下午8:37写道： > 我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >