回复:flinksql接收到字段值格式为2020-09-23T20:58:24+08:00,如何转成TIMESTAMP

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

回复:flinksql接收到字段值格式为2020-09-23T20:58:24+08:00,如何转成TIMESTAMP

Jun Zhang-2
这个水印比正常北京时间多八小时的问题,我是在1.11刚发布的时候测试发现的,我看了看源码,我的理解是把从sql里获取的东八区的时间,当成了utc时间来处理,所以会比北京时间多八小时。



Best  Jun


------------------ 原始邮件 ------------------
发件人: Joker <[hidden email]&gt;
发送时间: 2020年9月24日 19:45
收件人: [hidden email] <[hidden email]&gt;
主题: 回复:flinksql接收到字段值格式为2020-09-23T20:58:24+08:00,如何转成TIMESTAMP



是的,如果手动减去八小时,使用eventtime落地的时候,就成了utc时区的值,但是你可以在SQL逻辑中纠正到东八区。CONVERT_TZ(DATE_FORMAT(event_time,'yyyy-MM-dd HH:mm:ss'),'UTC','GMT+8:00’)。&nbsp;&nbsp; 现在 引入另一个问题,这种情况下watermark为何不需要纠正就自动加了8小时?




在2020年09月24日 19:34,Jun Zhang<[hidden email]&gt; 写道:
Hi &amp;nbsp;jack
如果我手动减去八小时,那么是不是使用eventtime落地的时候,就成了utc时区的值,比如现在是北京时间10点,那么我落地的时间将会是两点,对于使用东八区的人来说,会产生误解。



Best&amp;nbsp;&amp;nbsp;Jun


------------------ 原始邮件 ------------------
发件人: Jark Wu <[hidden email]&amp;gt;
发送时间: 2020年9月24日 15:43
收件人: user-zh <[hidden email]&amp;gt;
主题: 回复:flinksql接收到字段值格式为2020-09-23T20:58:24+08:00,如何转成TIMESTAMP



FROM_UNIXTIME 接收的第一个参数是 unix time 值, 可以理解为UTC时区的值。
所以如果你的 long 值是北京时间下得到的,那么需要自己手动减一个8时区。

Best,
Jark

On Thu, 24 Sep 2020 at 13:54, Joker <[hidden email]&amp;gt; wrote:

&amp;gt; 不好意思,插入个问题。ts AS TO_TIMESTAMP(FROM_UNIXTIME(create_time / 1000,
&amp;gt; 'yyyy-MM-dd HH:mm:ss')) ,我按此方式生成事件时间列,发现watermark一直比北京时间多8小时,比如create_time
&amp;gt; 为1600926591666,ts计算出来是2020/9/24
&amp;gt; 13:49:51没问题,但在WebUI上发现提取的watermark为2020/9/24 21:49:51
&amp;gt;
&amp;gt;
&amp;gt; | |
&amp;gt; Joker
&amp;gt; |
&amp;gt; |
&amp;gt; [hidden email]
&amp;gt; |
&amp;gt; 签名由网易邮箱大师定制
&amp;gt;
&amp;gt;
&amp;gt; 在2020年09月24日 13:40,Jark Wu<[hidden email]&amp;gt; 写道:
&amp;gt; Flink 的 TO_TIMESTAMP 函数用的是 Java SimpleDateFormat 来解析时间格式的,所以可以看下
&amp;gt; SimpleDateFormat 的 javadoc。
&amp;gt; 你可以试下 to_timestamp('2020-09-23T20:58:24+08:00',
&amp;gt; 'yyyy-MM-dd''T''HH:mm:ssXXX') 来解析你的数据。
&amp;gt;
&amp;gt; Best,
&amp;gt; Jark
&amp;gt;
&amp;gt; On Wed, 23 Sep 2020 at 21:08, chenxuying <[hidden email]&amp;gt; wrote:
&amp;gt;
&amp;gt; flinksql 版本是1.11.2
&amp;gt; source接收到字段是字符串类型的时间
&amp;gt; CREATE TABLE sourceTable (
&amp;gt; `time` STRING
&amp;gt; ) WITH(
&amp;gt; ...
&amp;gt; );
&amp;gt;
&amp;gt;
&amp;gt; sink如下
&amp;gt; CREATE TABLE sinktable (
&amp;gt; `time1` STRING,
&amp;gt; `time` TIMESTAMP(3)
&amp;gt; ) WITH (
&amp;gt; 'connector' = 'print'
&amp;gt; );
&amp;gt;
&amp;gt;
&amp;gt; insert语句,不知道怎么正确修改TO_TIMESTAMP默认的格式
&amp;gt; insert into sinktable select
&amp;gt; `time`,TO_TIMESTAMP(`time`,'yyyy-MM-ddTHH:mm:ss+08:00') from sourceTable
&amp;gt;
&amp;gt;
&amp;gt; 报错说是format错误
&amp;gt; Caused by: java.lang.IllegalArgumentException: Unknown pattern letter: T
&amp;gt; at
&amp;gt;
&amp;gt; java.time.format.DateTimeFormatterBuilder.parsePattern(DateTimeFormatterBuilder.java:1663)
&amp;gt; at
&amp;gt;
&amp;gt; java.time.format.DateTimeFormatterBuilder.appendPattern(DateTimeFormatterBuilder.java:1572)
&amp;gt; at java.time.format.DateTimeFormatter.ofPattern(DateTimeFormatter.java:534)
&amp;gt;