请教大佬一个在flink调用kafka数据源时'scan.startup.mode'参数的使用问题

[yulu yang]

在flink作业中从kafka数据源获取数据，将 参数设置为'scan.startup.mode' = 'earliest-offset',
检测flink运行结果时，发现只抽取了kafka中的newest数据，没有获取到oldest数据。
不知道是不是我这里'scan.startup.mode' 参数用的不对。
Flink 版本1.11.1 kafka版本 2.6.0

[魏子涵]

Kafka客户端的group. id参数有改吗？


| |
魏子涵
|
|
邮箱：[hidden email]
|

签名由 网易邮箱大师 定制

在2020年08月14日 12:44，yulu yang 写道：
在flink作业中从kafka数据源获取数据，将 参数设置为'scan.startup.mode' = 'earliest-offset',
检测flink运行结果时，发现只抽取了kafka中的newest数据，没有获取到oldest数据。
不知道是不是我这里'scan.startup.mode' 参数用的不对。
Flink 版本1.11.1 kafka版本 2.6.0

[yulu yang]

  我这个flink作业和和分组都是新创建的，没有抽取历史
group是新的

魏子涵 <[hidden email]> 于2020年8月14日周五 下午1:20写道：

> Kafka客户端的group. id参数有改吗？
>
>
> | |
> 魏子涵
> |
> |
> 邮箱：[hidden email]
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2020年08月14日 12:44，yulu yang 写道：
> 在flink作业中从kafka数据源获取数据，将 参数设置为'scan.startup.mode' = 'earliest-offset',
> 检测flink运行结果时，发现只抽取了kafka中的newest数据，没有获取到oldest数据。
> 不知道是不是我这里'scan.startup.mode' 参数用的不对。
> Flink 版本1.11.1 kafka版本 2.6.0
>

[魏子涵]

建议先不使用flink的Kafka来消费，先自己编码写一个kafka消费看是否还是有这个问题，作个对比，看是否是flink提供的kafka接口的问题。


| |
魏子涵
|
|
邮箱：[hidden email]
|

签名由 网易邮箱大师 定制

在2020年08月14日 13:27，yulu yang 写道：
 我这个flink作业和和分组都是新创建的，没有抽取历史
group是新的

魏子涵 <[hidden email]> 于2020年8月14日周五 下午1:20写道：

> Kafka客户端的group. id参数有改吗？
>
>
> | |
> 魏子涵
> |
> |
> 邮箱：[hidden email]
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2020年08月14日 12:44，yulu yang 写道：
> 在flink作业中从kafka数据源获取数据，将 参数设置为'scan.startup.mode' = 'earliest-offset',
> 检测flink运行结果时，发现只抽取了kafka中的newest数据，没有获取到oldest数据。
> 不知道是不是我这里'scan.startup.mode' 参数用的不对。
> Flink 版本1.11.1 kafka版本 2.6.0
>

[yulu yang]

好的，谢谢，我试一下！

魏子涵 <[hidden email]> 于2020年8月14日周五 下午1:35写道：

> 建议先不使用flink的Kafka来消费，先自己编码写一个kafka消费看是否还是有这个问题，作个对比，看是否是flink提供的kafka接口的问题。
>
>
> | |
> 魏子涵
> |
> |
> 邮箱：[hidden email]
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2020年08月14日 13:27，yulu yang 写道：
>  我这个flink作业和和分组都是新创建的，没有抽取历史
> group是新的
>
> 魏子涵 <[hidden email]> 于2020年8月14日周五 下午1:20写道：
>
> > Kafka客户端的group. id参数有改吗？
> >
> >
> > | |
> > 魏子涵
> > |
> > |
> > 邮箱：[hidden email]
> > |
> >
> > 签名由 网易邮箱大师 定制
> >
> > 在2020年08月14日 12:44，yulu yang 写道：
> > 在flink作业中从kafka数据源获取数据，将 参数设置为'scan.startup.mode' = 'earliest-offset',
> > 检测flink运行结果时，发现只抽取了kafka中的newest数据，没有获取到oldest数据。
> > 不知道是不是我这里'scan.startup.mode' 参数用的不对。
> > Flink 版本1.11.1 kafka版本 2.6.0
> >
>

[JasonLee]

hi

参数是这么写的没错 'scan.startup.mode' = 'earliest-offset' 你确定你是用的新的groupid吗
我这里测试是可以的从头开始消费的 不知道是不是你测试的方法不对



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Benchao Li-2]

按理说这个模式即使是老的group id，也会忽略在kafka中保存的offset的。
你是从checkpoint恢复的任务么？从checkpoint恢复的offset的会覆盖这个配置。

JasonLee <[hidden email]> 于2020年8月14日周五 下午10:02写道：

> hi
>
> 参数是这么写的没错 'scan.startup.mode' = 'earliest-offset' 你确定你是用的新的groupid吗
> 我这里测试是可以的从头开始消费的 不知道是不是你测试的方法不对
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/



--

Best,
Benchao Li