Apache Flink 中文用户邮件列表

flink 1.10webui不显示print内容

Classic

List

Threaded

11 messages Options

smq

flink 1.10webui不显示print内容

Hi
我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
请问是配置的问题还是这个版本不支持呢

Benchao Li

Re: flink 1.10webui不显示print内容

你看的是TM的stdout么？标准输出是输出到TM的stdout的，而且有多个TM的话，你需要每个check一下。

smq <[hidden email]> 于2020年5月26日周二下午9:40写道：

> Hi
> 我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
> 请问是配置的问题还是这个版本不支持呢

--

Best,
Benchao Li

Lijie Wang

回复：flink 1.10webui不显示print内容

In reply to this post by smq

这个是不需要配置并且所有版本都支持的，你可以看一下 taskmanager.out 的输出内容。此外，你需要确认一下你 print 的逻辑是否属于在 TM 端执行，有可能是在 client 端被执行的。

在2020年05月26日 21:39，smq<[hidden email]> 写道：
Hi
我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
请问是配置的问题还是这个版本不支持呢

smq

回复：flink 1.10webui不显示print内容

我这个在集群上提交或者webui提交都看不到输出内容，这应该不是client吧

---原始邮件---
发件人: "Lijie Wang"<[hidden email]>
发送时间: 2020年5月26日(周二) 晚上10:14
收件人: "[hidden email]"<[hidden email]>;
主题: 回复：flink 1.10webui不显示print内容

这个是不需要配置并且所有版本都支持的，你可以看一下 taskmanager.out 的输出内容。此外，你需要确认一下你 print 的逻辑是否属于在 TM 端执行，有可能是在 client 端被执行的。

在2020年05月26日 21:39，smq<[hidden email]> 写道：
Hi
我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
请问是配置的问题还是这个版本不支持呢

smq

回复：flink 1.10webui不显示print内容

In reply to this post by Benchao Li

TM和JM都检查了，没有看到输出，idea上运行是有输出结果的

---原始邮件---
发件人: "Benchao Li"<[hidden email]>
发送时间: 2020年5月26日(周二) 晚上9:57
收件人: "user-zh"<[hidden email]>;
主题: Re: flink 1.10webui不显示print内容

你看的是TM的stdout么？标准输出是输出到TM的stdout的，而且有多个TM的话，你需要每个check一下。

smq <[hidden email]> 于2020年5月26日周二下午9:40写道：

> Hi
> 我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
> 请问是配置的问题还是这个版本不支持呢

--

Best,
Benchao Li

Benchao Li

Re: flink 1.10webui不显示print内容

In reply to this post by smq

你可以给我们看一下你是怎么print的么？

smq <[hidden email]> 于2020年5月26日周二下午11:20写道：

> 我这个在集群上提交或者webui提交都看不到输出内容，这应该不是client吧
>
>
> ---原始邮件---
> 发件人: "Lijie Wang"<[hidden email]>
> 发送时间: 2020年5月26日(周二) 晚上10:14
> 收件人: "[hidden email]"<[hidden email]>;
> 主题: 回复：flink 1.10webui不显示print内容
>
>
> 这个是不需要配置并且所有版本都支持的，你可以看一下 taskmanager.out 的输出内容。此外，你需要确认一下你 print
> 的逻辑是否属于在 TM 端执行，有可能是在 client 端被执行的。
>
>
>
>
> 在2020年05月26日 21:39，smq<[hidden email]> 写道：
> Hi
> 我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
> 请问是配置的问题还是这个版本不支持呢

--

Best,
Benchao Li

Yichao Yang

回复：flink 1.10webui不显示print内容

hi
systemout是会打到标准输出的，也就对应webui里面的taskmanager的stdout输出的

如果是slog4j之类的日志工具，是在webui里面的taskmanager的log中输出的

还需要注意日志是在代码哪个地方写的
这样可以判断是在jobmanager打的还是taskmanager打的

------------------ 原始邮件 ------------------
发件人: Benchao Li <[hidden email]>
发送时间: 2020年5月26日 23:30
收件人: user-zh <[hidden email]>
主题: 回复：flink 1.10webui不显示print内容

你可以给我们看一下你是怎么print的么？

smq <[hidden email]> 于2020年5月26日周二下午11:20写道：

> 我这个在集群上提交或者webui提交都看不到输出内容，这应该不是client吧
>
>
> ---原始邮件---
> 发件人: &quot;Lijie Wang&quot;<[hidden email]&gt;
> 发送时间: 2020年5月26日(周二) 晚上10:14
> 收件人: &quot;[hidden email]&quot;<[hidden email]&gt;;
> 主题: 回复：flink 1.10webui不显示print内容
>
>
> 这个是不需要配置并且所有版本都支持的，你可以看一下 taskmanager.out 的输出内容。此外，你需要确认一下你 print
> 的逻辑是否属于在 TM 端执行，有可能是在 client 端被执行的。
>
>
>
>
> 在2020年05月26日 21:39，smq<[hidden email]&gt; 写道：
> Hi
> 我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
> 请问是配置的问题还是这个版本不支持呢

--

Best,
Benchao Li

smq

回复： flink 1.10webui不显示print内容

In reply to this post by Benchao Li

FlinkKafkaConsumer011<String> consumer = new FlinkKafkaConsumer011<>(topic, new SimpleStringSchema(), properties);
consumer.setStartFromLatest();
DataStreamSource<String> stream = env.addSource(consumer);
SingleOutputStreamOperator<Tuple2<String, Integer>> sum = stream.map(
new MapFunction<String, Tuple2<String, Integer>>() {
int num = 0;

@Override
public Tuple2<String, Integer> map(String s) {
num++;
if (num % 10 == 0) {

System.out.println("出现错误,即将重启");
throw new RuntimeException("出现错误，程序重启！");
} else {
return new Tuple2(s, 1);
}
}
}).keyBy(0)
.sum(1);

sum.print();
try {
env.execute();
} catch (Exception e) {
e.printStackTrace();
}
}
这个是部分代码

------------------ 原始邮件 ------------------
发件人: "Benchao Li"<[hidden email]>;
发送时间: 2020年5月26日(星期二) 晚上11:29
收件人: "user-zh"<[hidden email]>;

主题: Re: flink 1.10webui不显示print内容

你可以给我们看一下你是怎么print的么？

smq <[hidden email]> 于2020年5月26日周二下午11:20写道：

> 我这个在集群上提交或者webui提交都看不到输出内容，这应该不是client吧
>
>
> ---原始邮件---
> 发件人: &quot;Lijie Wang&quot;<[hidden email]&gt;
> 发送时间: 2020年5月26日(周二) 晚上10:14
> 收件人: &quot;[hidden email]&quot;<[hidden email]&gt;;
> 主题: 回复：flink 1.10webui不显示print内容
>
>
> 这个是不需要配置并且所有版本都支持的，你可以看一下 taskmanager.out 的输出内容。此外，你需要确认一下你 print
> 的逻辑是否属于在 TM 端执行，有可能是在 client 端被执行的。
>
>
>
>
> 在2020年05月26日 21:39，smq<[hidden email]&gt; 写道：
> Hi
> 我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
> 请问是配置的问题还是这个版本不支持呢

--

Best,
Benchao Li

tison

Re: flink 1.10webui不显示print内容

你这个程序看起来不能通过 Web UI 提交。Flink 依赖内部异常在 Web UI 提交的路径里做编译。你这直接 Catch 了是拿不到作业图的。

你这个作业真的起来了吗？

具体提交的操作怎么样的，除了你要的 taskmanager.out 没有，有啥？

Best,
tison.

smq <[hidden email]> 于2020年5月27日周三上午7:34写道：

> FlinkKafkaConsumer011<String> consumer = new
> FlinkKafkaConsumer011<>(topic, new SimpleStringSchema(), properties);
> consumer.setStartFromLatest();
> DataStreamSource<String> stream = env.addSource(consumer);
> SingleOutputStreamOperator<Tuple2<String, Integer>> sum =
> stream.map(
> new MapFunction<String, Tuple2<String, Integer>>() {
> int num = 0;
>
> @Override
> public Tuple2<String, Integer> map(String s) {
> num++;
> if (num % 10 == 0) {
>
> System.out.println("出现错误,即将重启");
> throw new RuntimeException("出现错误，程序重启！");
> } else {
> return new Tuple2(s, 1);
> }
> }
> }).keyBy(0)
> .sum(1);
>
> sum.print();
> try {
> env.execute();
> } catch (Exception e) {
> e.printStackTrace();
> }
> }
> 这个是部分代码
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "Benchao Li"<[hidden email]>;
> 发送时间: 2020年5月26日(星期二) 晚上11:29
> 收件人: "user-zh"<[hidden email]>;
>
> 主题: Re: flink 1.10webui不显示print内容
>
>
>
> 你可以给我们看一下你是怎么print的么？
>
> smq <[hidden email]> 于2020年5月26日周二下午11:20写道：
>
> > 我这个在集群上提交或者webui提交都看不到输出内容，这应该不是client吧
> >
> >
> > ---原始邮件---
> > 发件人: &quot;Lijie Wang&quot;<[hidden email]&gt;
> > 发送时间: 2020年5月26日(周二) 晚上10:14
> > 收件人: &quot;[hidden email]&quot;<
> [hidden email]&gt;;
> > 主题: 回复：flink 1.10webui不显示print内容
> >
> >
> > 这个是不需要配置并且所有版本都支持的，你可以看一下 taskmanager.out 的输出内容。此外，你需要确认一下你 print
> > 的逻辑是否属于在 TM 端执行，有可能是在 client 端被执行的。
> >
> >
> >
> >
> > 在2020年05月26日 21:39，smq<[hidden email]&gt; 写道：
> > Hi
> > 我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
> > 请问是配置的问题还是这个版本不支持呢
>
>
>
> --
>
> Best,
> Benchao Li

smq

回复： flink 1.10webui不显示print内容

我这个是测试checkpoint和重启策略的,命令行,idea,webui提交都能正常运行,也能看到重启效果,只是打印的内容在webui看不到

------------------ 原始邮件 ------------------
发件人: "tison"<[hidden email]>;
发送时间: 2020年5月27日(星期三) 上午7:42
收件人: "user-zh"<[hidden email]>;

主题: Re: flink 1.10webui不显示print内容

你这个程序看起来不能通过 Web UI 提交。Flink 依赖内部异常在 Web UI 提交的路径里做编译。你这直接 Catch 了是拿不到作业图的。

你这个作业真的起来了吗？

具体提交的操作怎么样的，除了你要的 taskmanager.out 没有，有啥？

Best,
tison.

smq <[hidden email]> 于2020年5月27日周三上午7:34写道：

> FlinkKafkaConsumer011<String&gt; consumer = new
> FlinkKafkaConsumer011<&gt;(topic, new SimpleStringSchema(), properties);
>     consumer.setStartFromLatest();
>     DataStreamSource<String&gt; stream = env.addSource(consumer);
>     SingleOutputStreamOperator<Tuple2<String, Integer&gt;&gt; sum =
> stream.map(
>             new MapFunction<String, Tuple2<String, Integer&gt;&gt;() {
>                 int num = 0;
>
>                 @Override
>                 public Tuple2<String, Integer&gt; map(String s) {
>                     num++;
>                     if (num % 10 == 0) {
>
>                         System.out.println("出现错误,即将重启");
>                         throw new RuntimeException("出现错误，程序重启！");
>                     } else {
>                         return new Tuple2(s, 1);
>                     }
>                 }
>             }).keyBy(0)
>             .sum(1);
>
>     sum.print();
>     try {
>         env.execute();
>     } catch (Exception e) {
>         e.printStackTrace();
>     }
> }
> 这个是部分代码
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:&nbsp;"Benchao Li"<[hidden email]&gt;;
> 发送时间:&nbsp;2020年5月26日(星期二) 晚上11:29
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;Re: flink 1.10webui不显示print内容
>
>
>
> 你可以给我们看一下你是怎么print的么？
>
> smq <[hidden email]&gt; 于2020年5月26日周二下午11:20写道：
>
> &gt; 我这个在集群上提交或者webui提交都看不到输出内容，这应该不是client吧
> &gt;
> &gt;
> &gt; ---原始邮件---
> &gt; 发件人: &amp;quot;Lijie Wang&amp;quot;<[hidden email]&amp;gt;
> &gt; 发送时间: 2020年5月26日(周二) 晚上10:14
> &gt; 收件人: &amp;quot;[hidden email]&amp;quot;<
> [hidden email]&amp;gt;;
> &gt; 主题: 回复：flink 1.10webui不显示print内容
> &gt;
> &gt;
> &gt; 这个是不需要配置并且所有版本都支持的，你可以看一下 taskmanager.out 的输出内容。此外，你需要确认一下你 print
> &gt; 的逻辑是否属于在 TM 端执行，有可能是在 client 端被执行的。
> &gt;
> &gt;
> &gt;
> &gt;
> &gt; 在2020年05月26日 21:39，smq<[hidden email]&amp;gt; 写道：
> &gt; Hi
> &gt; 我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
> &gt; 请问是配置的问题还是这个版本不支持呢
>
>
>
> --
>
> Best,
> Benchao Li

Lori681

Re: flink 1.10webui不显示print内容

In reply to this post by smq