转发：flink1.10整合hbase测试遇到的问题

[liunaihua521]

--------- 转发邮件信息 ---------

发件人： [hidden email]

发送日期： 2020年6月3日 22:18

发送至： [hidden email] 、 [hidden email]

主题： flink1.10整合hbase测试遇到的问题

hi!

版本说明:

    flink版本1.10

    HBase版本2.2.4

    ZK版本3.6.1

    Hadoop版本2.10.0

程序说明:

    程序是简单的实现RichSourceFunction和RichSinkFunction,读取和写入hbase,程序打包后上传standalone模式的集群.

报错说明:

    提交任务后,总是报如下错误(附件附文本):

    

或者

    

尝试如下:

尝试一:

    flink的lib下有如下jar包:

    提交的jar包中发现没有下面连个类

    执行后报错

尝试二:

    将guava-11.0.2.jar包移动到hadoop的lib下,再次执行依然报错

尝试结果:

    反复尝试都一致报错,求大神们指点,再此先谢谢了!

    

[Lijie Wang]

这个是因为这个 class 不在路径中导致的。你需要确认一下这个 class 在哪个 jar 包中，这个 jar 包是否在 flink 的 lib 下

在2020年06月3日 22:52，[hidden email] 写道：

--------- 转发邮件信息 ---------

发件人： [hidden email]

发送日期： 2020年6月3日 22:18

发送至： [hidden email] 、 [hidden email]

主题： flink1.10整合hbase测试遇到的问题

hi!

版本说明:

    flink版本1.10

    HBase版本2.2.4

    ZK版本3.6.1

    Hadoop版本2.10.0

程序说明:

    程序是简单的实现RichSourceFunction和RichSinkFunction,读取和写入hbase,程序打包后上传standalone模式的集群.

报错说明:

    提交任务后,总是报如下错误(附件附文本):

    

或者

    

尝试如下:

尝试一:

    flink的lib下有如下jar包:

    提交的jar包中发现没有下面连个类

    执行后报错

尝试二:

    将guava-11.0.2.jar包移动到hadoop的lib下,再次执行依然报错

尝试结果:

    反复尝试都一致报错,求大神们指点,再此先谢谢了!

    

[Weihua Hu]

可以尝试把依赖包 shaded 到你的 jar 包里，保证依赖的完整

Best
Weihua Hu

> 2020年6月3日 22:52，liunaihua521 <[hidden email]> 写道：
>
>
>
> --------- 转发邮件信息 ---------
>
> 发件人： liunaihua521 <[hidden email]> <mailto:[hidden email]>
> 发送日期： 2020年6月3日 22:18
> 发送至： [hidden email] <[hidden email]>  <mailto:[hidden email]>、 [hidden email] <[hidden email]> <mailto:[hidden email]>
> 主题： flink1.10整合hbase测试遇到的问题
> hi!
> 版本说明:
>     flink版本1.10
>     HBase版本2.2.4
>     ZK版本3.6.1
>     Hadoop版本2.10.0
>
> 程序说明:
>     程序是简单的实现RichSourceFunction和RichSinkFunction,读取和写入hbase,程序打包后上传standalone模式的集群.
>
> 报错说明:
>     提交任务后,总是报如下错误(附件附文本):
>     <1B135BA0-EF16-482E-9388-BB058AB2C06C.png>
> 或者
>     <0BC55A5B-26B0-4BD5-A3DF-33985EDCE3E7.png>
>
> 尝试如下:
> 尝试一:
>     flink的lib下有如下jar包:
> <44DE6BF1-09DA-44F5-B0A8-704B3539B675.png>
>     提交的jar包中发现没有下面连个类
>     执行后报错
>
> 尝试二:
>     将guava-11.0.2.jar包移动到hadoop的lib下,再次执行依然报错
>
> 尝试结果:
>     反复尝试都一致报错,求大神们指点,再此先谢谢了!
>    
> <flink??Hba se报错内容.txt>

[Jark]

FYI Leonard's reply in another thread:

=============================================

Flink hbase connector官网有的[1],1.10以前的包名是flink-hbase,
1.11后社区统一了所有connector的包名，包名为flink-connector-hbase[1]，1.11最近快发布了，你的报错看起来是缺少了一些类，可以参考下hbase
connector的依赖[2]。

[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connect.html#hbase-connector

[2]
https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hbase/pom.xml

On Thu, 4 Jun 2020 at 17:17, Weihua Hu <[hidden email]> wrote:

> 可以尝试把依赖包 shaded 到你的 jar 包里，保证依赖的完整
>
> Best
> Weihua Hu
>
> > 2020年6月3日 22:52，liunaihua521 <[hidden email]> 写道：
> >
> >
> >
> > --------- 转发邮件信息 ---------
> >
> > 发件人： liunaihua521 <[hidden email]> <mailto:[hidden email]>
> > 发送日期： 2020年6月3日 22:18
> > 发送至： [hidden email] <[hidden email]>
> <mailto:[hidden email]>、 [hidden email] <
> [hidden email]> <mailto:[hidden email]>
> > 主题： flink1.10整合hbase测试遇到的问题
> > hi!
> > 版本说明:
> >     flink版本1.10
> >     HBase版本2.2.4
> >     ZK版本3.6.1
> >     Hadoop版本2.10.0
> >
> > 程序说明:
> >
>  程序是简单的实现RichSourceFunction和RichSinkFunction,读取和写入hbase,程序打包后上传standalone模式的集群.
> >
> > 报错说明:
> >     提交任务后,总是报如下错误(附件附文本):
> >     <1B135BA0-EF16-482E-9388-BB058AB2C06C.png>
> > 或者
> >     <0BC55A5B-26B0-4BD5-A3DF-33985EDCE3E7.png>
> >
> > 尝试如下:
> > 尝试一:
> >     flink的lib下有如下jar包:
> > <44DE6BF1-09DA-44F5-B0A8-704B3539B675.png>
> >     提交的jar包中发现没有下面连个类
> >     执行后报错
> >
> > 尝试二:
> >     将guava-11.0.2.jar包移动到hadoop的lib下,再次执行依然报错
> >
> > 尝试结果:
> >     反复尝试都一致报错,求大神们指点,再此先谢谢了!
> >
> > <flink??Hba se报错内容.txt>
>
>