flink整合hbase

[liunaihua521]

hi
 咨询下，想用flink1.10整合hbase，请问一下hadoop，hbase都需要什么版本？有哪位跑通过，可否提供下配置文件，我在本地测试，所有集群都正常启动，提交任务（flink读写hbase）总是报错，找不到某些类，是否跟版本有问题？
提前谢谢了！

| |
liunaihua521
|
|
邮箱：[hidden email]
|

签名由 网易邮箱大师 定制

Sink 是自己的还是官方的。



[hidden email]
 
发件人： liunaihua521
发送时间： 2020-06-05 00:27
收件人： [hidden email]
主题： flink整合hbase
hi
咨询下，想用flink1.10整合hbase，请问一下hadoop，hbase都需要什么版本？有哪位跑通过，可否提供下配置文件，我在本地测试，所有集群都正常启动，提交任务（flink读写hbase）总是报错，找不到某些类，是否跟版本有问题？
提前谢谢了！
 
| |
liunaihua521
|
|
邮箱：[hidden email]
|
 
签名由 网易邮箱大师 定制

[Leonard Xu]

Hi,

可以贴下你的配置和异常栈吗？1.10的时候我本地也测试过，是ok的。

Best,
Leonard Xu

> 在 2020年6月5日，00:27，[hidden email] 写道：
>
> hi
> 咨询下，想用flink1.10整合hbase，请问一下hadoop，hbase都需要什么版本？有哪位跑通过，可否提供下配置文件，我在本地测试，所有集群都正常启动，提交任务（flink读写hbase）总是报错，找不到某些类，是否跟版本有问题？
> 提前谢谢了！
>
> | |
> liunaihua521
> |
> |
> 邮箱：[hidden email]
> |
>
> 签名由 网易邮箱大师 定制

[liunaihua521]

hi,

    您能说下您本地的各组件版本吗?谢谢了

    报错内容(不方便看附件有文本):

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: org.apache.flink.client.program.ProgramInvocationException: Job failed (JobID: cacd929120e6cefa79e1f8cca65e3d3f)

        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)

        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)

        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)

        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)

        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)

        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)

        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)

        at java.security.AccessController.doPrivileged(Native Method)

        at javax.security.auth.Subject.doAs(Subject.java:422)

        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1836)

        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)

        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)

Caused by: java.util.concurrent.ExecutionException: org.apache.flink.client.program.ProgramInvocationException: Job failed (JobID: cacd929120e6cefa79e1f8cca65e3d3f)

        at java.util.concurrent.CompletableFuture.reportGet(CompletableFuture.java:357)

        at java.util.concurrent.CompletableFuture.get(CompletableFuture.java:1908)

        at org.apache.flink.streaming.api.environment.StreamContextEnvironment.execute(StreamContextEnvironment.java:83)

        at org.apache.flink.streaming.api.environment.StreamExecutionEnvironment.execute(StreamExecutionEnvironment.java:1620)

        at main.Main.main(Main.java:29)

        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

        at java.lang.reflect.Method.invoke(Method.java:498)

        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:321)

        ... 11 more

Caused by: org.apache.flink.client.program.ProgramInvocationException: Job failed (JobID: cacd929120e6cefa79e1f8cca65e3d3f)

        at org.apache.flink.client.deployment.ClusterClientJobClientAdapter.lambda$null$6(ClusterClientJobClientAdapter.java:112)

        at java.util.concurrent.CompletableFuture.uniApply(CompletableFuture.java:616)

        at java.util.concurrent.CompletableFuture$UniApply.tryFire(CompletableFuture.java:591)

        at java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:488)

        at java.util.concurrent.CompletableFuture.complete(CompletableFuture.java:1975)

        at org.apache.flink.client.program.rest.RestClusterClient.lambda$pollResourceAsync$21(RestClusterClient.java:565)

        at java.util.concurrent.CompletableFuture.uniWhenComplete(CompletableFuture.java:774)

        at java.util.concurrent.CompletableFuture$UniWhenComplete.tryFire(CompletableFuture.java:750)

        at java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:488)

        at java.util.concurrent.CompletableFuture.complete(CompletableFuture.java:1975)

        at org.apache.flink.runtime.concurrent.FutureUtils.lambda$retryOperationWithDelay$8(FutureUtils.java:291)

        at java.util.concurrent.CompletableFuture.uniWhenComplete(CompletableFuture.java:774)

        at java.util.concurrent.CompletableFuture$UniWhenComplete.tryFire(CompletableFuture.java:750)

        at java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:488)

        at java.util.concurrent.CompletableFuture.postFire(CompletableFuture.java:575)

        at java.util.concurrent.CompletableFuture$UniCompose.tryFire(CompletableFuture.java:943)

        at java.util.concurrent.CompletableFuture$Completion.run(CompletableFuture.java:456)

        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)

        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)

        at java.lang.Thread.run(Thread.java:748)

Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.

        at org.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:147)

        at org.apache.flink.client.deployment.ClusterClientJobClientAdapter.lambda$null$6(ClusterClientJobClientAdapter.java:110)

        ... 19 more

Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy

        at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionFailureHandler.java:110)

        at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.getFailureHandlingResult(ExecutionFailureHandler.java:76)

        at org.apache.flink.runtime.scheduler.DefaultScheduler.handleTaskFailure(DefaultScheduler.java:192)

        at org.apache.flink.runtime.scheduler.DefaultScheduler.maybeHandleTaskFailure(DefaultScheduler.java:186)

        at org.apache.flink.runtime.scheduler.DefaultScheduler.updateTaskExecutionStateInternal(DefaultScheduler.java:180)

        at org.apache.flink.runtime.scheduler.SchedulerBase.updateTaskExecutionState(SchedulerBase.java:484)

        at org.apache.flink.runtime.jobmaster.JobMaster.updateTaskExecutionState(JobMaster.java:380)

        at sun.reflect.GeneratedMethodAccessor61.invoke(Unknown Source)

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

        at java.lang.reflect.Method.invoke(Method.java:498)

        at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcInvocation(AkkaRpcActor.java:279)

        at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcMessage(AkkaRpcActor.java:194)

        at org.apache.flink.runtime.rpc.akka.FencedAkkaRpcActor.handleRpcMessage(FencedAkkaRpcActor.java:74)

        at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:152)

        at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:26)

        at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:21)

        at scala.PartialFunction.applyOrElse(PartialFunction.scala:123)

        at scala.PartialFunction.applyOrElse$(PartialFunction.scala:122)

        at akka.japi.pf.UnitCaseStatement.applyOrElse(CaseStatements.scala:21)

        at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:171)

        at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:172)

        at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:172)

        at akka.actor.Actor.aroundReceive(Actor.scala:517)

        at akka.actor.Actor.aroundReceive$(Actor.scala:515)

        at akka.actor.AbstractActor.aroundReceive(AbstractActor.scala:225)

        at akka.actor.ActorCell.receiveMessage(ActorCell.scala:592)

        at akka.actor.ActorCell.invoke(ActorCell.scala:561)

        at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:258)

        at akka.dispatch.Mailbox.run(Mailbox.scala:225)

        at akka.dispatch.Mailbox.exec(Mailbox.scala:235)

        at akka.dispatch.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)

        at akka.dispatch.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)

        at akka.dispatch.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)

        at akka.dispatch.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)

Caused by: java.lang.NoClassDefFoundError: org/apache/hbase/thirdparty/com/google/common/util/concurrent/ListeningExecutorService

        at org.apache.hadoop.hbase.AuthUtil.loginClient(AuthUtil.java:106)

        at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:128)

        at hbasewriter.HBaseWriter1.open(HBaseWriter1.java:41)

        at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:36)

        at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:102)

        at org.apache.flink.streaming.api.operators.StreamSink.open(StreamSink.java:48)

        at org.apache.flink.streaming.runtime.tasks.StreamTask.initializeStateAndOpen(StreamTask.java:1007)

        at org.apache.flink.streaming.runtime.tasks.StreamTask.lambda$beforeInvoke$0(StreamTask.java:454)

        at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$SynchronizedStreamTaskActionExecutor.runThrowing(StreamTaskActionExecutor.java:94)

        at org.apache.flink.streaming.runtime.tasks.StreamTask.beforeInvoke(StreamTask.java:449)

        at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:461)

        at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:707)

        at org.apache.flink.runtime.taskmanager.Task.run(Task.java:532)

        at java.lang.Thread.run(Thread.java:748)

Caused by: java.lang.ClassNotFoundException: org.apache.hbase.thirdparty.com.google.common.util.concurrent.ListeningExecutorService

        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:418)

        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:351)

Caused by: java.lang.NoClassDefFoundError: org/apache/hbase/thirdparty/com/google/common/cache/CacheLoader

        at org.apache.hadoop.hbase.AuthUtil.loginClient(AuthUtil.java:106)

        at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:128)

        at hbasewriter.HBaseWriter1.open(HBaseWriter1.java:41)

        at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:36)

        at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:102)

        at org.apache.flink.streaming.api.operators.StreamSink.open(StreamSink.java:48)

        at org.apache.flink.streaming.runtime.tasks.StreamTask.initializeStateAndOpen(StreamTask.java:1007)

        at org.apache.flink.streaming.runtime.tasks.StreamTask.lambda$beforeInvoke$0(StreamTask.java:454)

        at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$SynchronizedStreamTaskActionExecutor.runThrowing(StreamTaskActionExecutor.java:94)

        at org.apache.flink.streaming.runtime.tasks.StreamTask.beforeInvoke(StreamTask.java:449)

        at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:461)

        at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:707)

        at org.apache.flink.runtime.taskmanager.Task.run(Task.java:532)

        at java.lang.Thread.run(Thread.java:748)

Caused by: java.lang.ClassNotFoundException: org.apache.hbase.thirdparty.com.google.common.cache.CacheLoader

        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:418)

        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:351)

        ... 14 more

在2020年6月5日 09:23，[hidden email] 写道：

Hi,

可以贴下你的配置和异常栈吗？1.10的时候我本地也测试过，是ok的。

Best,
Leonard Xu

在 2020年6月5日，00:27，[hidden email] 写道：

hi
咨询下，想用flink1.10整合hbase，请问一下hadoop，hbase都需要什么版本？有哪位跑通过，可否提供下配置文件，我在本地测试，所有集群都正常启动，提交任务（flink读写hbase）总是报错，找不到某些类，是否跟版本有问题？
提前谢谢了！

| |
liunaihua521
|
|
邮箱：[hidden email]
|

签名由 网易邮箱大师 定制

[chaojianok]

你好，可否提供一下报错信息呢？

















在 2020-06-05 00:27:42，[hidden email] 写道：

>hi
> 咨询下，想用flink1.10整合hbase，请问一下hadoop，hbase都需要什么版本？有哪位跑通过，可否提供下配置文件，我在本地测试，所有集群都正常启动，提交任务（flink读写hbase）总是报错，找不到某些类，是否跟版本有问题？
>提前谢谢了！
>
>| |
>liunaihua521
>|
>|
>邮箱：[hidden email]
>|
>
>签名由 网易邮箱大师 定制

[liunaihua521]

hi,
    sink是自己的,我还没发现flink有原生的hbase的sink,正在研究.


在2020年6月5日 09:06，[hidden email]<[hidden email]> 写道：
Sink 是自己的还是官方的。



[hidden email]

发件人： liunaihua521
发送时间： 2020-06-05 00:27
收件人： [hidden email]
主题： flink整合hbase
hi
咨询下，想用flink1.10整合hbase，请问一下hadoop，hbase都需要什么版本？有哪位跑通过，可否提供下配置文件，我在本地测试，所有集群都正常启动，提交任务（flink读写hbase）总是报错，找不到某些类，是否跟版本有问题？
提前谢谢了！

| |
liunaihua521
|
|
邮箱：[hidden email]
|

签名由 网易邮箱大师 定制

[Leonard Xu]

Hi,

Flink hbase connector官网有的[1],1.10以前的包名是flink-hbase, 1.11后社区统一了所有connector的包名，包名为flink-connector-hbase[1]，1.11最近快发布了，你的报错看起来是缺少了一些类，可以参考下hbase connector的依赖[2]。

Best,
Leonard Xu
[1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connect.html#hbase-connector <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connect.html#hbase-connector>
[2] https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hbase/pom.xml <https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hbase/pom.xml>

> 在 2020年6月5日，09:31，liunaihua521 <[hidden email]> 写道：
>
> hi,
>    sink是自己的,我还没发现flink有原生的hbase的sink,正在研究.
>
>
> 在2020年6月5日 09:06，[hidden email]<[hidden email]> 写道：
> Sink 是自己的还是官方的。
>
>
>
> [hidden email]
>
> 发件人： liunaihua521
> 发送时间： 2020-06-05 00:27
> 收件人： [hidden email]
> 主题： flink整合hbase
> hi
> 咨询下，想用flink1.10整合hbase，请问一下hadoop，hbase都需要什么版本？有哪位跑通过，可否提供下配置文件，我在本地测试，所有集群都正常启动，提交任务（flink读写hbase）总是报错，找不到某些类，是否跟版本有问题？
> 提前谢谢了！
>
> | |
> liunaihua521
> |
> |
> 邮箱：[hidden email]
> |
>
> 签名由 网易邮箱大师 定制

是有原生的，另外一个老哥也回答了，
你用java直接连接是不是也不ok，?



[hidden email]
 
发件人： liunaihua521
发送时间： 2020-06-05 09:31
收件人： [hidden email]
抄送： [hidden email]
主题： 回复：回复: flink整合hbase
hi,
    sink是自己的,我还没发现flink有原生的hbase的sink,正在研究.
 
 
在2020年6月5日 09:06，[hidden email]<[hidden email]> 写道：
Sink 是自己的还是官方的。
 
 
 
[hidden email]
 
发件人： liunaihua521
发送时间： 2020-06-05 00:27
收件人： [hidden email]
主题： flink整合hbase
hi
咨询下，想用flink1.10整合hbase，请问一下hadoop，hbase都需要什么版本？有哪位跑通过，可否提供下配置文件，我在本地测试，所有集群都正常启动，提交任务（flink读写hbase）总是报错，找不到某些类，是否跟版本有问题？
提前谢谢了！
 
| |
liunaihua521
|
|
邮箱：[hidden email]
|
 
签名由 网易邮箱大师 定制