关于Flink1.10.0 flink-hbase guava依赖冲突问题

[111]

Hi，
我这边发现hbase-connector模块对guava的依赖有冲突：


首先flink中的calcite需要guava是16以上的版本（低版本没有这个类），因为要使用：com/google/common/collect/MultimapBuilder$SortedSetMultimapBuilder
其次HBase需要guava12.0版本（更高的版本就移除这个方法了），因为要使用：com.google.common.hash.HashFunction.hashString(Ljava/lang/CharSequence;)Lcom/google/common/hash/HashCode;


不知道官方在使用单元测试时，是否有什么特殊的配置能规避这个问题？


Best,
Xinghalo

[Yun Gao]

现在的现象是作业运行起来会有报错么？能发一下pom和大体的作业的样子不？


------------------------------------------------------------------
From:111 <[hidden email]>
Send Time:2020 Apr. 9 (Thu.) 14:31
To:[hidden email] <[hidden email]>
Subject:关于Flink1.10.0 flink-hbase guava依赖冲突问题

Hi，
我这边发现hbase-connector模块对guava的依赖有冲突：


首先flink中的calcite需要guava是16以上的版本（低版本没有这个类），因为要使用：com/google/common/collect/MultimapBuilder$SortedSetMultimapBuilder
其次HBase需要guava12.0版本（更高的版本就移除这个方法了），因为要使用：com.google.common.hash.HashFunction.hashString(Ljava/lang/CharSequence;)Lcom/google/common/hash/HashCode;


不知道官方在使用单元测试时，是否有什么特殊的配置能规避这个问题？


Best,
Xinghalo

[Jingsong Li]

Hi,

是的，作业运行起来是没问题的，因为都shade过，但是很不幸的是IDEA运行单测就会有问题。。。

目前可以通过mvn test的方式来运行单测。

Best,
Jingsong Lee

On Thu, Apr 9, 2020 at 9:34 PM Yun Gao <[hidden email]> wrote:

> 现在的现象是作业运行起来会有报错么？能发一下pom和大体的作业的样子不？
>
>
> ------------------------------------------------------------------
> From:111 <[hidden email]>
> Send Time:2020 Apr. 9 (Thu.) 14:31
> To:[hidden email] <[hidden email]>
> Subject:关于Flink1.10.0 flink-hbase guava依赖冲突问题
>
> Hi，
> 我这边发现hbase-connector模块对guava的依赖有冲突：
>
>
>
> 首先flink中的calcite需要guava是16以上的版本（低版本没有这个类），因为要使用：com/google/common/collect/MultimapBuilder$SortedSetMultimapBuilder
>
> 其次HBase需要guava12.0版本（更高的版本就移除这个方法了），因为要使用：com.google.common.hash.HashFunction.hashString(Ljava/lang/CharSequence;)Lcom/google/common/hash/HashCode;
>
>
> 不知道官方在使用单元测试时，是否有什么特殊的配置能规避这个问题？
>
>
> Best,
> Xinghalo

--
Best, Jingsong Lee

[111]

Hi,


原来IDEA的问题，那这样就不能debug调试了。
目前看如果手动指定guava的版本为16，只有本地的那个HBase服务有问题（内部使用的murmur hash.hasString()生成id）
如果把单元测试改成连接远程HBase，应该就没问题了


Best，
xinghalo


在2020年04月9日 23:00，Jingsong Li<[hidden email]> 写道：
Hi,

是的，作业运行起来是没问题的，因为都shade过，但是很不幸的是IDEA运行单测就会有问题。。。

目前可以通过mvn test的方式来运行单测。

Best,
Jingsong Lee

On Thu, Apr 9, 2020 at 9:34 PM Yun Gao <[hidden email]> wrote:

现在的现象是作业运行起来会有报错么？能发一下pom和大体的作业的样子不？


------------------------------------------------------------------
From:111 <[hidden email]>
Send Time:2020 Apr. 9 (Thu.) 14:31
To:[hidden email] <[hidden email]>
Subject:关于Flink1.10.0 flink-hbase guava依赖冲突问题

Hi，
我这边发现hbase-connector模块对guava的依赖有冲突：



首先flink中的calcite需要guava是16以上的版本（低版本没有这个类），因为要使用：com/google/common/collect/MultimapBuilder$SortedSetMultimapBuilder

其次HBase需要guava12.0版本（更高的版本就移除这个方法了），因为要使用：com.google.common.hash.HashFunction.hashString(Ljava/lang/CharSequence;)Lcom/google/common/hash/HashCode;


不知道官方在使用单元测试时，是否有什么特殊的配置能规避这个问题？


Best,
Xinghalo



--
Best, Jingsong Lee

[Jark]

Hi,

这是一个已知问题，而且确实挺影响开发效率的。

> 其次HBase需要guava12.0版本（更高的版本就移除这个方法了）
你知道 HBase 从哪个版本开始不使用这个方法/版本了吗？ 和 HBase 1.4.x server 兼容吗？

cc @ZhengHu  who may have more knowledge on this.

Best,
Jark

On Fri, 10 Apr 2020 at 08:21, 111 <[hidden email]> wrote:

> Hi,
>
>
> 原来IDEA的问题，那这样就不能debug调试了。
> 目前看如果手动指定guava的版本为16，只有本地的那个HBase服务有问题（内部使用的murmur hash.hasString()生成id）
> 如果把单元测试改成连接远程HBase，应该就没问题了
>
>
> Best，
> xinghalo
>
>
> 在2020年04月9日 23:00，Jingsong Li<[hidden email]> 写道：
> Hi,
>
> 是的，作业运行起来是没问题的，因为都shade过，但是很不幸的是IDEA运行单测就会有问题。。。
>
> 目前可以通过mvn test的方式来运行单测。
>
> Best,
> Jingsong Lee
>
> On Thu, Apr 9, 2020 at 9:34 PM Yun Gao <[hidden email]>
> wrote:
>
> 现在的现象是作业运行起来会有报错么？能发一下pom和大体的作业的样子不？
>
>
> ------------------------------------------------------------------
> From:111 <[hidden email]>
> Send Time:2020 Apr. 9 (Thu.) 14:31
> To:[hidden email] <[hidden email]>
> Subject:关于Flink1.10.0 flink-hbase guava依赖冲突问题
>
> Hi，
> 我这边发现hbase-connector模块对guava的依赖有冲突：
>
>
>
>
> 首先flink中的calcite需要guava是16以上的版本（低版本没有这个类），因为要使用：com/google/common/collect/MultimapBuilder$SortedSetMultimapBuilder
>
>
> 其次HBase需要guava12.0版本（更高的版本就移除这个方法了），因为要使用：com.google.common.hash.HashFunction.hashString(Ljava/lang/CharSequence;)Lcom/google/common/hash/HashCode;
>
>
> 不知道官方在使用单元测试时，是否有什么特殊的配置能规避这个问题？
>
>
> Best,
> Xinghalo
>
>
>
> --
> Best, Jingsong Lee
>

[111]

Hi，
具体的哪个版本不太确定，我只差了11，12，14，16，18，23这些….12以上都没有的
Best,
Xinghalo