在json schema中如何定义数组字段

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

在json schema中如何定义数组字段

苏 欣
我是用的是flink-1.9版本,现在想消费带数组字段的json数据,类似{“field1:” “aaa”, “field2”: [“bbb, “ccc”]} 这种数据格式。


注册schema的时候我使用了field("field2", Types.OBJECT_ARRAY(Types.STRING))这种方式。EnvironmentSetting指定为flink-planner和blink-planner都有问题。


在flink-planner下,会报下面的错误,我跟了下代码,发现是StringArraySerializer.copy方法接收的是String[],传过去的却是Object[]。
Caused by: java.lang.ClassCastException: [Ljava.lang.Object; cannot be cast to [Ljava.lang.String;
       at org.apache.flink.api.common.typeutils.base.array.StringArraySerializer.copy(StringArraySerializer.java:35)
       at org.apache.flink.api.java.typeutils.runtime.RowSerializer.copy(RowSerializer.java:93)
       at org.apache.flink.api.java.typeutils.runtime.RowSerializer.copy(RowSerializer.java:44)
       at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:635)
       ... 13 more

在blink-planner下,程序一启动就会报下面的错误:
Exception in thread "main" org.apache.flink.table.api.ValidationException: Type LEGACY(BasicArrayTypeInfo<String>) of table field 'field2' does not match with type BasicArrayTypeInfo<String> of the field ' field2' of the TableSource return type.
       at org.apache.flink.table.planner.sources.TableSourceUtil$$anonfun$4.apply(TableSourceUtil.scala:121)
       at org.apache.flink.table.planner.sources.TableSourceUtil$$anonfun$4.apply(TableSourceUtil.scala:92)
       at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
       at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
       at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
       at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)

请问这个问题有没有人知道怎么解决,定义数组字段有没有其他的方法呢?

发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用