blink 版本 消费kafka 看不到group id

[雷水鱼]

现象
使用这个pom ,在kafka 里看不到group id
<dependency>
 <groupId>com.alibaba.blink</groupId>
 <artifactId>flink-streaming-scala_2.11</artifactId>
 <version>blink-3.2.2</version>
 <exclusions>
 <exclusion>
 <groupId>org.slf4j</groupId>
 <artifactId>slf4j-api</artifactId>
 </exclusion>
 </exclusions>
</dependency>
<dependency>
 <groupId>com.alibaba.blink</groupId>
 <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
 <version>blink-3.2.0</version>
 <exclusions>
 <exclusion>
 <groupId>org.slf4j</groupId>
 <artifactId>slf4j-api</artifactId>
 </exclusion>
 </exclusions>
</dependency>
使用开源版本，可以看到在kafka 看到group id
<dependency>
 <groupId>org.apache.flink</groupId>
 <artifactId>flink-streaming-java_2.12</artifactId>
 <version>1.7.1</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka-0.11 -->
<dependency>
 <groupId>org.apache.flink</groupId>
 <artifactId>flink-connector-kafka-0.11_2.12</artifactId>
 <version>1.7.1</version>
</dependency>

有没有大佬能看一下，在业务场景 中 还是需要看下 offset 的

[Biao Liu]

抱歉，没看懂你的问题
1. group id 和 offset 有什么关系？
2. "在kafka 里看不到group id" 指什么？

雷水鱼 <[hidden email]> 于2019年6月24日周一 下午5:05写道：

> 现象
> 使用这个pom ,在kafka 里看不到group id
> <dependency>
>  <groupId>com.alibaba.blink</groupId>
>  <artifactId>flink-streaming-scala_2.11</artifactId>
>  <version>blink-3.2.2</version>
>  <exclusions>
>  <exclusion>
>  <groupId>org.slf4j</groupId>
>  <artifactId>slf4j-api</artifactId>
>  </exclusion>
>  </exclusions>
> </dependency>
> <dependency>
>  <groupId>com.alibaba.blink</groupId>
>  <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
>  <version>blink-3.2.0</version>
>  <exclusions>
>  <exclusion>
>  <groupId>org.slf4j</groupId>
>  <artifactId>slf4j-api</artifactId>
>  </exclusion>
>  </exclusions>
> </dependency>
> 使用开源版本，可以看到在kafka 看到group id
> <dependency>
>  <groupId>org.apache.flink</groupId>
>  <artifactId>flink-streaming-java_2.12</artifactId>
>  <version>1.7.1</version>
> </dependency>
>
> <!--
> https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka-0.11
> -->
> <dependency>
>  <groupId>org.apache.flink</groupId>
>  <artifactId>flink-connector-kafka-0.11_2.12</artifactId>
>  <version>1.7.1</version>
> </dependency>
>
> 有没有大佬能看一下，在业务场景 中 还是需要看下 offset 的
>
>
>
>

[雷水鱼]

问题实际上就是在kafka server 那里看不到消费者组，也就是group id ,
表现出来的现象就是就是flink重启后，根本就没有按上次的offset开始继续消费
也就是之前flink，一直都没有提交过offset,也看不到消费者组,
 可以用blink那个版本的pom测试一下


------------------------------------------------------------------
发件人：Biao Liu <[hidden email]>
发送时间：2019年6月25日(星期二) 12:10
收件人：user-zh <[hidden email]>; 雷水鱼 <[hidden email]>
主　题：Re: blink 版本 消费kafka 看不到group id

抱歉，没看懂你的问题
1. group id 和 offset 有什么关系？
2. "在kafka 里看不到group id" 指什么？
雷水鱼 <[hidden email]> 于2019年6月24日周一 下午5:05写道：
现象
 使用这个pom ,在kafka 里看不到group id
 <dependency>
  <groupId>com.alibaba.blink</groupId>
  <artifactId>flink-streaming-scala_2.11</artifactId>
  <version>blink-3.2.2</version>
  <exclusions>
  <exclusion>
  <groupId>org.slf4j</groupId>
  <artifactId>slf4j-api</artifactId>
  </exclusion>
  </exclusions>
 </dependency>
 <dependency>
  <groupId>com.alibaba.blink</groupId>
  <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
  <version>blink-3.2.0</version>
  <exclusions>
  <exclusion>
  <groupId>org.slf4j</groupId>
  <artifactId>slf4j-api</artifactId>
  </exclusion>
  </exclusions>
 </dependency>
 使用开源版本，可以看到在kafka 看到group id
 <dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-streaming-java_2.12</artifactId>
  <version>1.7.1</version>
 </dependency>

 <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka-0.11 -->
 <dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-kafka-0.11_2.12</artifactId>
  <version>1.7.1</version>
 </dependency>

 有没有大佬能看一下，在业务场景 中 还是需要看下 offset 的

[Biao Liu]

哦，看你贴了 pom.xml 还以为是指 maven 的 group id
扫了眼 Kafka consumer，blink 和 flink 两边的代码有不一样的地方，blink 并不会保证一定和 flink 行为一致

建议
1. 再调试一下，可以参考两边 Kafka consumer 具体的实现，例如FlinkKafkaConsumerBase 的具体代码
2. 看到一个可能的原因，试一试 disable checkpointing
3. 继续向社区求助，最好提供更详细的配置/代码/log等，估计不会有人"用blink那个版本的pom测试一下”
4. 还不行的话可以向 @Becket 求助，他是 Kafka 的大拿，也负责 blink 这边的 Kafka consumer


雷水鱼 <[hidden email]> 于2019年6月25日周二 下午12:25写道：

> 问题实际上就是在kafka server 那里看不到消费者组，也就是group id ,
> 表现出来的现象就是就是flink重启后，根本就没有按上次的offset开始继续消费
> 也就是之前flink，一直都没有提交过offset,也看不到消费者组,
>  可以用blink那个版本的pom测试一下
>
> ------------------------------------------------------------------
> 发件人：Biao Liu <[hidden email]>
> 发送时间：2019年6月25日(星期二) 12:10
> 收件人：user-zh <[hidden email]>; 雷水鱼 <[hidden email]>
> 主 题：Re: blink 版本 消费kafka 看不到group id
>
> 抱歉，没看懂你的问题
> 1. group id 和 offset 有什么关系？
> 2. "在kafka 里看不到group id" 指什么？
>
> 雷水鱼 <[hidden email]> 于2019年6月24日周一 下午5:05写道：
> 现象
> 使用这个pom ,在kafka 里看不到group id
> <dependency>
>  <groupId>com.alibaba.blink</groupId>
>  <artifactId>flink-streaming-scala_2.11</artifactId>
>  <version>blink-3.2.2</version>
>  <exclusions>
>  <exclusion>
>  <groupId>org.slf4j</groupId>
>  <artifactId>slf4j-api</artifactId>
>  </exclusion>
>  </exclusions>
> </dependency>
> <dependency>
>  <groupId>com.alibaba.blink</groupId>
>  <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
>  <version>blink-3.2.0</version>
>  <exclusions>
>  <exclusion>
>  <groupId>org.slf4j</groupId>
>  <artifactId>slf4j-api</artifactId>
>  </exclusion>
>  </exclusions>
> </dependency>
> 使用开源版本，可以看到在kafka 看到group id
> <dependency>
>  <groupId>org.apache.flink</groupId>
>  <artifactId>flink-streaming-java_2.12</artifactId>
>  <version>1.7.1</version>
> </dependency>
>
> <!--
> https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka-0.11
> -->
> <dependency>
>  <groupId>org.apache.flink</groupId>
>  <artifactId>flink-connector-kafka-0.11_2.12</artifactId>
>  <version>1.7.1</version>
> </dependency>
>
> 有没有大佬能看一下，在业务场景 中 还是需要看下 offset 的
>
>
>
>
>