使用RedisSink无法将读取的Kafka数据写入Redis中

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

使用RedisSink无法将读取的Kafka数据写入Redis中

追梦的废柴
各位:
晚上好!
现在我所在的项目组在调研Flink框架,有一个指标需要读取Kafka中的数据然后使用Redis存储最终的结果。
我们在pom文件中引入了flink-redis的connector,然后按照官方的RedisSink案例,在本地开发的时候可以正常写入到某台服务器上的Redis中,
但是当我把程序打成Jar包之后,部署到服务器(华为云MRS)上使用flink run提交到yarn之后总是在报错,无法写入到Redis中,各位知道是为什么吗?
问题已经卡了我两天了,一点进展都没有,有劳各位帮忙解答一下,Thank you!
报错如下:
redis.client.jedis.exceptions.JedisConnectionException:Could not get a resource from the pool at .....

Reply | Threaded
Open this post in threaded view
|

Re: 使用RedisSink无法将读取的Kafka数据写入Redis中

nobleyd
连接不上,你的华为云确认和redis服务器连通吗?

追梦的废柴 <[hidden email]> 于2020年12月6日周日 下午8:35写道:

> 各位:
> 晚上好!
> 现在我所在的项目组在调研Flink框架,有一个指标需要读取Kafka中的数据然后使用Redis存储最终的结果。
>
> 我们在pom文件中引入了flink-redis的connector,然后按照官方的RedisSink案例,在本地开发的时候可以正常写入到某台服务器上的Redis中,
> 但是当我把程序打成Jar包之后,部署到服务器(华为云MRS)上使用flink
> run提交到yarn之后总是在报错,无法写入到Redis中,各位知道是为什么吗?
> 问题已经卡了我两天了,一点进展都没有,有劳各位帮忙解答一下,Thank you!
> 报错如下:
> redis.client.jedis.exceptions.JedisConnectionException:Could not get a
> resource from the pool at .....
>
>
Reply | Threaded
Open this post in threaded view
|

Re: 使用RedisSink无法将读取的Kafka数据写入Redis中

Jark
Administrator
这个估计和网络和部署有关,建议咨询下华为云的技术支持。

On Sun, 6 Dec 2020 at 20:40, 赵一旦 <[hidden email]> wrote:

> 连接不上,你的华为云确认和redis服务器连通吗?
>
> 追梦的废柴 <[hidden email]> 于2020年12月6日周日 下午8:35写道:
>
> > 各位:
> > 晚上好!
> > 现在我所在的项目组在调研Flink框架,有一个指标需要读取Kafka中的数据然后使用Redis存储最终的结果。
> >
> >
> 我们在pom文件中引入了flink-redis的connector,然后按照官方的RedisSink案例,在本地开发的时候可以正常写入到某台服务器上的Redis中,
> > 但是当我把程序打成Jar包之后,部署到服务器(华为云MRS)上使用flink
> > run提交到yarn之后总是在报错,无法写入到Redis中,各位知道是为什么吗?
> > 问题已经卡了我两天了,一点进展都没有,有劳各位帮忙解答一下,Thank you!
> > 报错如下:
> > redis.client.jedis.exceptions.JedisConnectionException:Could not get a
> > resource from the pool at .....
> >
> >
>
Reply | Threaded
Open this post in threaded view
|

Re: 使用RedisSink无法将读取的Kafka数据写入Redis中

Yangze Guo
大概率是网络不通,可以检查一下白名单设置

Best,
Yangze Guo

On Mon, Dec 7, 2020 at 10:28 AM Jark Wu <[hidden email]> wrote:

>
> 这个估计和网络和部署有关,建议咨询下华为云的技术支持。
>
> On Sun, 6 Dec 2020 at 20:40, 赵一旦 <[hidden email]> wrote:
>
> > 连接不上,你的华为云确认和redis服务器连通吗?
> >
> > 追梦的废柴 <[hidden email]> 于2020年12月6日周日 下午8:35写道:
> >
> > > 各位:
> > > 晚上好!
> > > 现在我所在的项目组在调研Flink框架,有一个指标需要读取Kafka中的数据然后使用Redis存储最终的结果。
> > >
> > >
> > 我们在pom文件中引入了flink-redis的connector,然后按照官方的RedisSink案例,在本地开发的时候可以正常写入到某台服务器上的Redis中,
> > > 但是当我把程序打成Jar包之后,部署到服务器(华为云MRS)上使用flink
> > > run提交到yarn之后总是在报错,无法写入到Redis中,各位知道是为什么吗?
> > > 问题已经卡了我两天了,一点进展都没有,有劳各位帮忙解答一下,Thank you!
> > > 报错如下:
> > > redis.client.jedis.exceptions.JedisConnectionException:Could not get a
> > > resource from the pool at .....
> > >
> > >
> >