求教：pyflink的sink是否支持redis connector?

[消息室]

您好：

      我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis connector?感谢！
      如不支持，有何建议方式？

[Xingbo Huang]

Hi,

据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
connector，关于如何自定义connector，你可以参考文档[2]

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
[2]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html

Best,
Xingbo


消息室 <[hidden email]> 于2020年12月17日周四 上午9:33写道：

> 您好：
>
> &nbsp; &nbsp; &nbsp;
> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
> connector?感谢！
> &nbsp; &nbsp; &nbsp; 如不支持，有何建议方式？

[Dian Fu]

感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。

redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis <https://github.com/apache/bahir-flink/tree/master/flink-connector-redis>

关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html

> 在 2020年12月17日，上午9:52，Xingbo Huang <[hidden email]> 写道：
>
> Hi,
>
> 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
> connector，关于如何自定义connector，你可以参考文档[2]
>
> [1]
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
> [2]
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
>
> Best,
> Xingbo
>
>
> 消息室 <[hidden email]> 于2020年12月17日周四 上午9:33写道：
>
>> 您好：
>>
>> &nbsp; &nbsp; &nbsp;
>> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
>> connector?感谢！
>> &nbsp; &nbsp; &nbsp; 如不支持，有何建议方式？

[肖越]

请问 可以连接oracle数据库么？自己尝试了定义connector，但报错findAndCreateTableSource failed ，并没有找到pyflink关于oracle connector的定义示例代码

















在 2020-12-17 10:16:13，"Dian Fu" <[hidden email]> 写道：

>感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
>
>redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis <https://github.com/apache/bahir-flink/tree/master/flink-connector-redis>
>
>关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
>
>> 在 2020年12月17日，上午9:52，Xingbo Huang <[hidden email]> 写道：
>>
>> Hi,
>>
>> 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
>> connector，关于如何自定义connector，你可以参考文档[2]
>>
>> [1]
>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
>> [2]
>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
>>
>> Best,
>> Xingbo
>>
>>
>> 消息室 <[hidden email]> 于2020年12月17日周四 上午9:33写道：
>>
>>> 您好：
>>>
>>> &nbsp; &nbsp; &nbsp;
>>> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
>>> connector?感谢！
>>> &nbsp; &nbsp; &nbsp; 如不支持，有何建议方式？
>

[Dian Fu]

您好，关于JDBC connector的问题，已经回复您了，我们在另外一个thread里讨论吧。

> 在 2020年12月17日，上午10:25，肖越 <[hidden email]> 写道：
>
> 请问 可以连接oracle数据库么？自己尝试了定义connector，但报错findAndCreateTableSource failed ，并没有找到pyflink关于oracle connector的定义示例代码
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-12-17 10:16:13，"Dian Fu" <[hidden email]> 写道：
>> 感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
>>
>> redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis <https://github.com/apache/bahir-flink/tree/master/flink-connector-redis>
>>
>> 关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
>>
>>> 在 2020年12月17日，上午9:52，Xingbo Huang <[hidden email]> 写道：
>>>
>>> Hi,
>>>
>>> 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
>>> connector，关于如何自定义connector，你可以参考文档[2]
>>>
>>> [1]
>>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
>>> [2]
>>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
>>>
>>> Best,
>>> Xingbo
>>>
>>>
>>> 消息室 <[hidden email]> 于2020年12月17日周四 上午9:33写道：
>>>
>>>> 您好：
>>>>
>>>> &nbsp; &nbsp; &nbsp;
>>>> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
>>>> connector?感谢！
>>>> &nbsp; &nbsp; &nbsp; 如不支持，有何建议方式？
>>

[magichuang]

hi,

想问一下您    这个  https://github.com/apache/bahir-flink/tree/master/flink-connector-redis 可以打包成jar包嘛，然后在pyflink里用

对java不熟悉，我看这个页面里面只是对java和scala说了如何用







Best，

MagicHuang

> ------------------ 原始邮件 ------------------
> 发 件 人："Dian Fu" <[hidden email]>
> 发送时间：2020-12-17 10:16:13
> 收 件 人：user-zh <[hidden email]>,[hidden email]
> 抄 送：
> 主 题：Re: 求教：pyflink的sink是否支持redis connector?
>
> 感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
>
> redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis
>
> 关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
>
> > 在 2020年12月17日，上午9:52，Xingbo Huang 写道：
> >
> > Hi,
> >
> > 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
> > connector，关于如何自定义connector，你可以参考文档[2]
> >
> > [1]
> > https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
> > [2]
> > https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
> >
> > Best,
> > Xingbo
> >
> >
> > 消息室 于2020年12月17日周四 上午9:33写道：
> >
> >> 您好：
> >>
> >>      
> >> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
> >> connector?感谢！
> >>       如不支持，有何建议方式？
>

[Dian Fu]

嗯，需要打成Jar包，才可以在PyFlink里用：
1）需要创建一个fat jar，把依赖都shade到jar里面。现在默认的不是fat jar，需要修改一下pom文件，可以参考Kafka里的做法 [1]。
2）关于如何使用，可用的属性有这些 [2]

[1] https://github.com/apache/flink/blob/master/flink-connectors/flink-sql-connector-kafka/pom.xml#L46 <https://github.com/apache/flink/blob/master/flink-connectors/flink-sql-connector-kafka/pom.xml#L46>
[2] https://github.com/apache/bahir-flink/blob/f0b3e1e04930b79b277cfc7ebe3552db246578e9/flink-connector-redis/src/main/java/org/apache/flink/streaming/connectors/redis/descriptor/RedisValidator.java <https://github.com/apache/bahir-flink/blob/f0b3e1e04930b79b277cfc7ebe3552db246578e9/flink-connector-redis/src/main/java/org/apache/flink/streaming/connectors/redis/descriptor/RedisValidator.java>

> 在 2020年12月17日，上午11:55，magichuang <[hidden email]> 写道：
>
> hi,
>
> 想问一下您    这个  https://github.com/apache/bahir-flink/tree/master/flink-connector-redis 可以打包成jar包嘛，然后在pyflink里用
>
> 对java不熟悉，我看这个页面里面只是对java和scala说了如何用
>
>
>
>
>
>
>
> Best，
>
> MagicHuang
>
>
>
>
>> ------------------ 原始邮件 ------------------
>> 发 件 人："Dian Fu" <[hidden email]>
>> 发送时间：2020-12-17 10:16:13
>> 收 件 人：user-zh <[hidden email]>,[hidden email]
>> 抄 送：
>> 主 题：Re: 求教：pyflink的sink是否支持redis connector?
>>
>> 感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
>>
>> redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis
>>
>> 关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
>>
>>> 在 2020年12月17日，上午9:52，Xingbo Huang 写道：
>>>
>>> Hi,
>>>
>>> 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
>>> connector，关于如何自定义connector，你可以参考文档[2]
>>>
>>> [1]
>>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
>>> [2]
>>> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
>>>
>>> Best,
>>> Xingbo
>>>
>>>
>>> 消息室 于2020年12月17日周四 上午9:33写道：
>>>
>>>> 您好：
>>>>
>>>>
>>>> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
>>>> connector?感谢！
>>>>      如不支持，有何建议方式？
>>
>
>
>
>

[消息室]

format='csv'想要指定分割符为"||"，设置为：

报错：

Caused by: org.apache.flink.table.api.ValidationException: Option 'csv.field-delimiter' must be a string with single character, but was: \|\|

请问该如何指定分隔符为“||” ?

------------------ 原始邮件 ------------------

发件人: "Dian Fu" <[hidden email]>;

发送时间: 2020年12月17日(星期四) 下午3:12

收件人: "user-zh"<[hidden email]>;

抄送: "消息室"<[hidden email]>;

主题: Re: 求教：pyflink的sink是否支持redis connector?

嗯，需要打成Jar包，才可以在PyFlink里用：

1）需要创建一个fat jar，把依赖都shade到jar里面。现在默认的不是fat jar，需要修改一下pom文件，可以参考Kafka里的做法 [1]。

2）关于如何使用，可用的属性有这些 [2]

[1] https://github.com/apache/flink/blob/master/flink-connectors/flink-sql-connector-kafka/pom.xml#L46

[2] https://github.com/apache/bahir-flink/blob/f0b3e1e04930b79b277cfc7ebe3552db246578e9/flink-connector-redis/src/main/java/org/apache/flink/streaming/connectors/redis/descriptor/RedisValidator.java

在 2020年12月17日，上午11:55，magichuang <[hidden email]> 写道：

hi,

想问一下您    这个  https://github.com/apache/bahir-flink/tree/master/flink-connector-redis 可以打包成jar包嘛，然后在pyflink里用

对java不熟悉，我看这个页面里面只是对java和scala说了如何用







Best，

MagicHuang

------------------ 原始邮件 ------------------
发 件 人："Dian Fu" <[hidden email]>
发送时间：2020-12-17 10:16:13
收 件 人：user-zh <[hidden email]>,[hidden email]
抄 送：
主 题：Re: 求教：pyflink的sink是否支持redis connector?

感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。

redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：https://github.com/apache/bahir-flink/tree/master/flink-connector-redis

关于如何在PyFlink中使用connector，可以参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html

在 2020年12月17日，上午9:52，Xingbo Huang 写道：

Hi,

据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
connector，关于如何自定义connector，你可以参考文档[2]

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
[2]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html

Best,
Xingbo


消息室 于2020年12月17日周四 上午9:33写道：

您好：


我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
connector?感谢！
     如不支持，有何建议方式？

[Xingbo Huang]

Hi,

csv.field-delimiter限制了只能使用单个字符，具体可以参考文档[1]

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/formats/csv.html#csv-field-delimiter

Best,
Xingbo

消息室 <[hidden email]> 于2020年12月30日周三 下午12:04写道：

>
> format='csv'想要指定分割符为"||"，设置为：
>
>
> 报错：
> Caused by: org.apache.flink.table.api.ValidationException: Option
> 'csv.field-delimiter' must be a string with single character, but was: \|\|
>
>
> 请问该如何指定分隔符为“||” ?
>
>
> ------------------ 原始邮件 ------------------
> *发件人:* "Dian Fu" <[hidden email]>;
> *发送时间:* 2020年12月17日(星期四) 下午3:12
> *收件人:* "user-zh"<[hidden email]>;
> *抄送:* "消息室"<[hidden email]>;
> *主题:* Re: 求教：pyflink的sink是否支持redis connector?
>
> 嗯，需要打成Jar包，才可以在PyFlink里用：
> 1）需要创建一个fat jar，把依赖都shade到jar里面。现在默认的不是fat jar，需要修改一下pom文件，可以参考Kafka里的做法
> [1]。
> 2）关于如何使用，可用的属性有这些 [2]
>
> [1]
> https://github.com/apache/flink/blob/master/flink-connectors/flink-sql-connector-kafka/pom.xml#L46
> [2]
> https://github.com/apache/bahir-flink/blob/f0b3e1e04930b79b277cfc7ebe3552db246578e9/flink-connector-redis/src/main/java/org/apache/flink/streaming/connectors/redis/descriptor/RedisValidator.java
>
>
> 在 2020年12月17日，上午11:55，magichuang <[hidden email]> 写道：
>
> hi,
>
> 想问一下您    这个
> https://github.com/apache/bahir-flink/tree/master/flink-connector-redis
> 可以打包成jar包嘛，然后在pyflink里用
>
> 对java不熟悉，我看这个页面里面只是对java和scala说了如何用
>
>
>
>
>
>
>
> Best，
>
> MagicHuang
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发 件 人："Dian Fu" <[hidden email]>
> 发送时间：2020-12-17 10:16:13
> 收 件 人：user-zh <[hidden email]>,[hidden email]
> 抄 送：
> 主 题：Re: 求教：pyflink的sink是否支持redis connector?
>
> 感谢Xingbo的回复，稍微补充一点：所有Table & SQL支持的connector都可以用在PyFlink中。
>
> redis的connector没有直接在Flink的代码库里提供，这里有一个，应该也可以用：
> https://github.com/apache/bahir-flink/tree/master/flink-connector-redis
>
> 关于如何在PyFlink中使用connector，可以参考文档：
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/python_table_api_connectors.html
>
> 在 2020年12月17日，上午9:52，Xingbo Huang 写道：
>
> Hi,
>
> 据我所知，flink没有提供对redis connector的官方支持[1]，你需要根据官方提供的接口来自定义你的redis
> connector，关于如何自定义connector，你可以参考文档[2]
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/
> [2]
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sourceSinks.html
>
> Best,
> Xingbo
>
>
> 消息室 于2020年12月17日周四 上午9:33写道：
>
> 您好：
>
>
> 我们项目组计划使用pyflink，有幸拜读了您的博客，我想请教一下当前1.12.0版本的pyflink的sink是否支持redis
> connector?感谢！
>      如不支持，有何建议方式？
>
>
>
>
>
>
>
>