flink pb转json性能问题

[kandy.wang]

因flink目前不支持pb format，调用了，protobuf-java-util com.google.protobuf.utilJsonFormat.printer().preservingProtoFieldNames().print(message) 先再pb 转成json 再套用 JsonRowDataDeserializationSchema处理json, 发现处理的性能就只能达到20w左右的tps，而如果是处理json格式的数据，tps是可以达到50-60w的tps.
想问一下，1、flink要是处理pb格式的数据，有什么好的办法？ 2
、社区对pb format 会支持么？
3、pb转json 有什么性能比较好的工具包

[Benchao Li-2]

Hi kandy,

关于第1个问题，目前社区有计划做一个内置的pb format[1]，可能大概率赶不上1.12了，不过应该1.13差不多。

[1] https://issues.apache.org/jira/browse/FLINK-18202

kandy.wang <[hidden email]> 于2020年9月23日周三 下午4:55写道：

> 因flink目前不支持pb format，调用了，protobuf-java-util
> com.google.protobuf.utilJsonFormat.printer().preservingProtoFieldNames().print(message)
> 先再pb 转成json 再套用 JsonRowDataDeserializationSchema处理json,
> 发现处理的性能就只能达到20w左右的tps，而如果是处理json格式的数据，tps是可以达到50-60w的tps.
> 想问一下，1、flink要是处理pb格式的数据，有什么好的办法？ 2
> 、社区对pb format 会支持么？
> 3、pb转json 有什么性能比较好的工具包



--

Best,
Benchao Li