Apache Flink 中文用户邮件列表

flink waterMark 相关问题

Classic

List

Threaded

11 messages Options

张锴

flink waterMark 相关问题

hi，我使用的flink版本是1.10，我想问一下watermark的默认时间间隔是多少，以及所对应的源码位置在哪里，我并没有找到。

anonnius

Re:flink waterMark 相关问题

可以看一下 ExecutionConfig这个类
在 2021-01-12 17:55:47，"张锴" <[hidden email]> 写道：
>hi，我使用的flink版本是1.10，我想问一下watermark的默认时间间隔是多少，以及所对应的源码位置在哪里，我并没有找到。

Ball's Holy

回复：flink waterMark 相关问题

hi 张锴, 如果我没记错的话，默认时间间隔是200毫秒，具体设置细节可以看flink.api.common.ExecutionConfig 对应的属性autoWatermarkInterval

------------------ 原始邮件 ------------------
发件人: "anonnius"<[hidden email]>;
发送时间: 2021年1月13日(星期三) 上午9:19
收件人: "user-zh"<[hidden email]>;
主题: Re:flink waterMark 相关问题

可以看一下 ExecutionConfig这个类
在 2021-01-12 17:55:47，"张锴" <[hidden email]> 写道：
>hi，我使用的flink版本是1.10，我想问一下watermark的默认时间间隔是多少，以及所对应的源码位置在哪里，我并没有找到。

张锴

Re: flink waterMark 相关问题

In reply to this post by anonnius

谢谢你

anonnius <[hidden email]> 于2021年1月13日周三上午9:19写道：

> 可以看一下 ExecutionConfig这个类
> 在 2021-01-12 17:55:47，"张锴" <[hidden email]> 写道：
> >hi，我使用的flink版本是1.10，我想问一下watermark的默认时间间隔是多少，以及所对应的源码位置在哪里，我并没有找到。
>

张锴

Re: flink waterMark 相关问题

In reply to this post by Ball's Holy

ok，谢谢你

Ball's Holy <[hidden email]> 于2021年1月13日周三上午9:42写道：

> hi 张锴,
> 如果我没记错的话，默认时间间隔是200毫秒，具体设置细节可以看flink.api.common.ExecutionConfig
> 对应的属性autoWatermarkInterval
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "anonnius"<[hidden email]>;
> 发送时间: 2021年1月13日(星期三) 上午9:19
> 收件人: "user-zh"<[hidden email]>;
> 主题: Re:flink waterMark 相关问题
>
>
>
> 可以看一下 ExecutionConfig这个类
> 在 2021-01-12 17:55:47，"张锴" <[hidden email]> 写道：
> >hi，我使用的flink版本是1.10，我想问一下watermark的默认时间间隔是多少，以及所对应的源码位置在哪里，我并没有找到。

张锴

Re: flink waterMark 相关问题

In reply to this post by Ball's Holy

我从ExecutionConfig找到了，private long autoWatermarkInterval =
0，并不是200毫秒，这个代表一个时间戳就代表一个watermark是吗

Ball's Holy <[hidden email]> 于2021年1月13日周三上午9:42写道：

anonnius

Re:Re: flink waterMark 相关问题

在 StreamExecutionEnvironmennt的方法 @PublicEvolving public void setStreamTimeCharacteristic(TimeCharacteristic characteristic) { this.timeCharacteristic = Preconditions.checkNotNull(characteristic); if (characteristic == TimeCharacteristic.ProcessingTime) { getConfig().setAutoWatermarkInterval(0); } else { getConfig().setAutoWatermarkInterval(200); } }
在 2021-01-13 10:09:54，"张锴" <[hidden email]> 写道：

>我从ExecutionConfig找到了，private long autoWatermarkInterval =
>0，并不是200毫秒，这个代表一个时间戳就代表一个watermark是吗
>
>Ball's Holy <[hidden email]> 于2021年1月13日周三上午9:42写道：
>
>> hi 张锴,
>> 如果我没记错的话，默认时间间隔是200毫秒，具体设置细节可以看flink.api.common.ExecutionConfig
>> 对应的属性autoWatermarkInterval
>>
>>
>>
>>
>> ------------------ 原始邮件 ------------------
>> 发件人: "anonnius"<[hidden email]>;
>> 发送时间: 2021年1月13日(星期三) 上午9:19
>> 收件人: "user-zh"<[hidden email]>;
>> 主题: Re:flink waterMark 相关问题
>>
>>
>>
>> 可以看一下 ExecutionConfig这个类
>> 在 2021-01-12 17:55:47，"张锴" <[hidden email]> 写道：
>> >hi，我使用的flink版本是1.10，我想问一下watermark的默认时间间隔是多少，以及所对应的源码位置在哪里，我并没有找到。

Ball's Holy

回复： flink waterMark 相关问题

In reply to this post by 张锴

master分支应该是200毫秒，1.10版本的话参考这个参数默认值。代表生成watermark时间间隔

------------------ 原始邮件 ------------------
发件人: "张锴"<[hidden email]>;
发送时间: 2021年1月13日(星期三) 上午10:09
收件人: "user-zh"<[hidden email]>;
主题: Re: flink waterMark 相关问题

我从ExecutionConfig找到了，private long autoWatermarkInterval =
0，并不是200毫秒，这个代表一个时间戳就代表一个watermark是吗

Ball's Holy <[hidden email]> 于2021年1月13日周三上午9:42写道：

> hi&nbsp;张锴,
> 如果我没记错的话，默认时间间隔是200毫秒，具体设置细节可以看flink.api.common.ExecutionConfig
> 对应的属性autoWatermarkInterval
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人: "anonnius"<[hidden email]&gt;;
> 发送时间: 2021年1月13日(星期三) 上午9:19
> 收件人: "user-zh"<[hidden email]&gt;;
> 主题: Re:flink waterMark 相关问题
>
>
>
> 可以看一下 ExecutionConfig这个类
> 在 2021-01-12 17:55:47，"张锴" <[hidden email]&gt; 写道：
> &gt;hi，我使用的flink版本是1.10，我想问一下watermark的默认时间间隔是多少，以及所对应的源码位置在哪里，我并没有找到。

Ball's Holy

回复： flink waterMark 相关问题

In reply to this post by 张锴

master分支应该是200毫秒，1.10版本的话参考这个参数默认值。代表生成watermark时间间隔

------------------ 原始邮件 ------------------
发件人: "user-zh" <[hidden email]>;
发送时间: 2021年1月13日(星期三) 上午10:09
收件人: "user-zh"<[hidden email]>;

主题: Re: flink waterMark 相关问题

我从ExecutionConfig找到了，private long autoWatermarkInterval =
0，并不是200毫秒，这个代表一个时间戳就代表一个watermark是吗

Ball's Holy <[hidden email]> 于2021年1月13日周三上午9:42写道：

> hi&nbsp;张锴,
> 如果我没记错的话，默认时间间隔是200毫秒，具体设置细节可以看flink.api.common.ExecutionConfig
> 对应的属性autoWatermarkInterval
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人: "anonnius"<[hidden email]&gt;;
> 发送时间: 2021年1月13日(星期三) 上午9:19
> 收件人: "user-zh"<[hidden email]&gt;;
> 主题: Re:flink waterMark 相关问题
>
>
>
> 可以看一下 ExecutionConfig这个类
> 在 2021-01-12 17:55:47，"张锴" <[hidden email]&gt; 写道：
> &gt;hi，我使用的flink版本是1.10，我想问一下watermark的默认时间间隔是多少，以及所对应的源码位置在哪里，我并没有找到。

张锴

Re: Re: flink waterMark 相关问题

In reply to this post by anonnius

ok，明白了

anonnius <[hidden email]> 于2021年1月13日周三上午10:20写道：

> 在 StreamExecutionEnvironmennt的方法 @PublicEvolving public
> void setStreamTimeCharacteristic(TimeCharacteristic characteristic) { 
> this.timeCharacteristic =
> Preconditions.checkNotNull(characteristic); if
> (characteristic == TimeCharacteristic.ProcessingTime) { 
> getConfig().setAutoWatermarkInterval(0); } else { 
> getConfig().setAutoWatermarkInterval(200); 
> } }
> 在 2021-01-13 10:09:54，"张锴" <[hidden email]> 写道：
> >我从ExecutionConfig找到了，private long autoWatermarkInterval =
> >0，并不是200毫秒，这个代表一个时间戳就代表一个watermark是吗
> >
> >Ball's Holy <[hidden email]> 于2021年1月13日周三上午9:42写道：
> >
> >> hi 张锴,
> >> 如果我没记错的话，默认时间间隔是200毫秒，具体设置细节可以看flink.api.common.ExecutionConfig
> >> 对应的属性autoWatermarkInterval
> >>
> >>
> >>
> >>
> >> ------------------ 原始邮件 ------------------
> >> 发件人: "anonnius"<[hidden email]>;
> >> 发送时间: 2021年1月13日(星期三) 上午9:19
> >> 收件人: "user-zh"<[hidden email]>;
> >> 主题: Re:flink waterMark 相关问题
> >>
> >>
> >>
> >> 可以看一下 ExecutionConfig这个类
> >> 在 2021-01-12 17:55:47，"张锴" <[hidden email]> 写道：
> >> >hi，我使用的flink版本是1.10，我想问一下watermark的默认时间间隔是多少，以及所对应的源码位置在哪里，我并没有找到。
>

Px New

Re: Re: flink waterMark 相关问题

private long autoWatermarkInterval = 200;

/**
* Interval in milliseconds for sending latency tracking marks from
the sources to the sinks.
*/

张锴 <[hidden email]> 于2021年1月13日周三上午10:26写道：

> ok，明白了
>
> anonnius <[hidden email]> 于2021年1月13日周三上午10:20写道：
>
> > 在 StreamExecutionEnvironmennt的方法 @PublicEvolving public
> > void setStreamTimeCharacteristic(TimeCharacteristic characteristic)
> { 
> > this.timeCharacteristic =
> > Preconditions.checkNotNull(characteristic); if
> > (characteristic == TimeCharacteristic.ProcessingTime) { 
> > getConfig().setAutoWatermarkInterval(0); } else { 
> > getConfig().setAutoWatermarkInterval(200); 
> > } }
> > 在 2021-01-13 10:09:54，"张锴" <[hidden email]> 写道：
> > >我从ExecutionConfig找到了，private long autoWatermarkInterval =
> > >0，并不是200毫秒，这个代表一个时间戳就代表一个watermark是吗
> > >
> > >Ball's Holy <[hidden email]> 于2021年1月13日周三上午9:42写道：
> > >
> > >> hi 张锴,
> > >> 如果我没记错的话，默认时间间隔是200毫秒，具体设置细节可以看flink.api.common.ExecutionConfig
> > >> 对应的属性autoWatermarkInterval
> > >>
> > >>
> > >>
> > >>
> > >> ------------------ 原始邮件 ------------------
> > >> 发件人: "anonnius"<[hidden email]>;
> > >> 发送时间: 2021年1月13日(星期三) 上午9:19
> > >> 收件人: "user-zh"<[hidden email]>;
> > >> 主题: Re:flink waterMark 相关问题
> > >>
> > >>
> > >>
> > >> 可以看一下 ExecutionConfig这个类
> > >> 在 2021-01-12 17:55:47，"张锴" <[hidden email]> 写道：
> > >> >hi，我使用的flink版本是1.10，我想问一下watermark的默认时间间隔是多少，以及所对应的源码位置在哪里，我并没有找到。
> >
>