关于sql-gateway insert into 异常捕获的问题

[111]

Hi,
最近在使用sql-gateway，当使用
StatementExecuteResponseBody body = getInstance().sendRequest(
host,port,StatementExecuteHeaders.getInstance(),
        new SessionMessageParameters(sessionId),
        new StatementExecuteRequestBody(stmt, timeout)).get();
提交insert语句时，当任务失败，无法返回对应的异常信息；是目前版本暂时不支持这种特性吗？

[godfrey he]

hi， sql gateway当前会把服务端的完整异常栈返回给用户，
例如：
Caused by: java.util.concurrent.ExecutionException:
org.apache.flink.runtime.rest.util.RestClientException: [Internal server
error., <Exception on server side:
com.ververica.flink.table.gateway.SqlExecutionException: xxx

你可以检查一下sql gateway的日志，看看是否相关的错误

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午8:47写道：

> Hi,
> 最近在使用sql-gateway，当使用
> StatementExecuteResponseBody body = getInstance().sendRequest(
> host,port,StatementExecuteHeaders.getInstance(),
>         new SessionMessageParameters(sessionId),
>         new StatementExecuteRequestBody(stmt, timeout)).get();
> 提交insert语句时，当任务失败，无法返回对应的异常信息；是目前版本暂时不支持这种特性吗？

[111]

Hi,
我试过了，insert into是不行的…sql-gateway的后台日志也没有任何报错。
怀疑是不是我使用的jdbc sink connector，内部是流的方式。流不会把异常抛给sql-gateway?


在2020年03月25日 10:26，godfrey he<[hidden email]> 写道：
hi， sql gateway当前会把服务端的完整异常栈返回给用户，
例如：
Caused by: java.util.concurrent.ExecutionException:
org.apache.flink.runtime.rest.util.RestClientException: [Internal server
error., <Exception on server side:
com.ververica.flink.table.gateway.SqlExecutionException: xxx

你可以检查一下sql gateway的日志，看看是否相关的错误

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午8:47写道：

Hi,
最近在使用sql-gateway，当使用
StatementExecuteResponseBody body = getInstance().sendRequest(
host,port,StatementExecuteHeaders.getInstance(),
new SessionMessageParameters(sessionId),
new StatementExecuteRequestBody(stmt, timeout)).get();
提交insert语句时，当任务失败，无法返回对应的异常信息；是目前版本暂时不支持这种特性吗？

[godfrey he]

目前sql gateway只负责提交作业，不负责跟踪作业的状态。如果作业没提交成功，sql gateway会返回相关的错误；如果是执行时报错，sql
gateway不会返回错误。你看看flink web ui作业是否提交成功

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:29写道：

>
>
> Hi,
> 我试过了，insert into是不行的…sql-gateway的后台日志也没有任何报错。
> 怀疑是不是我使用的jdbc sink connector，内部是流的方式。流不会把异常抛给sql-gateway?
>
>
> 在2020年03月25日 10:26，godfrey he<[hidden email]> 写道：
> hi， sql gateway当前会把服务端的完整异常栈返回给用户，
> 例如：
> Caused by: java.util.concurrent.ExecutionException:
> org.apache.flink.runtime.rest.util.RestClientException: [Internal server
> error., <Exception on server side:
> com.ververica.flink.table.gateway.SqlExecutionException: xxx
>
> 你可以检查一下sql gateway的日志，看看是否相关的错误
>
> Best,
> Godfrey
>
> 111 <[hidden email]> 于2020年3月25日周三 上午8:47写道：
>
> Hi,
> 最近在使用sql-gateway，当使用
> StatementExecuteResponseBody body = getInstance().sendRequest(
> host,port,StatementExecuteHeaders.getInstance(),
> new SessionMessageParameters(sessionId),
> new StatementExecuteRequestBody(stmt, timeout)).get();
> 提交insert语句时，当任务失败，无法返回对应的异常信息；是目前版本暂时不支持这种特性吗？
>

[111]

Hi,
确实是执行报错….那如果是执行报错，flink本身是否有提供获取exception的机制呢？


| |
xinghalo
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2020年03月25日 10:32，godfrey he<[hidden email]> 写道：
目前sql gateway只负责提交作业，不负责跟踪作业的状态。如果作业没提交成功，sql gateway会返回相关的错误；如果是执行时报错，sql
gateway不会返回错误。你看看flink web ui作业是否提交成功

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:29写道：



Hi,
我试过了，insert into是不行的…sql-gateway的后台日志也没有任何报错。
怀疑是不是我使用的jdbc sink connector，内部是流的方式。流不会把异常抛给sql-gateway?


在2020年03月25日 10:26，godfrey he<[hidden email]> 写道：
hi， sql gateway当前会把服务端的完整异常栈返回给用户，
例如：
Caused by: java.util.concurrent.ExecutionException:
org.apache.flink.runtime.rest.util.RestClientException: [Internal server
error., <Exception on server side:
com.ververica.flink.table.gateway.SqlExecutionException: xxx

你可以检查一下sql gateway的日志，看看是否相关的错误

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午8:47写道：

Hi,
最近在使用sql-gateway，当使用
StatementExecuteResponseBody body = getInstance().sendRequest(
host,port,StatementExecuteHeaders.getInstance(),
new SessionMessageParameters(sessionId),
new StatementExecuteRequestBody(stmt, timeout)).get();
提交insert语句时，当任务失败，无法返回对应的异常信息；是目前版本暂时不支持这种特性吗？

[godfrey he]

hi, sql gateway目前支持获取作业状态（要求jm还能查询到该作业）。如果要获取作业异常可以通过jm提供的REST API [1]

[1]
https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/rest_api.html#jobs-jobid-exceptions

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:38写道：

> Hi,
> 确实是执行报错….那如果是执行报错，flink本身是否有提供获取exception的机制呢？
>
>
> | |
> xinghalo
> |
> |
> [hidden email]
> |
> 签名由网易邮箱大师定制
>
>
> 在2020年03月25日 10:32，godfrey he<[hidden email]> 写道：
> 目前sql gateway只负责提交作业，不负责跟踪作业的状态。如果作业没提交成功，sql gateway会返回相关的错误；如果是执行时报错，sql
> gateway不会返回错误。你看看flink web ui作业是否提交成功
>
> Best,
> Godfrey
>
> 111 <[hidden email]> 于2020年3月25日周三 上午10:29写道：
>
>
>
> Hi,
> 我试过了，insert into是不行的…sql-gateway的后台日志也没有任何报错。
> 怀疑是不是我使用的jdbc sink connector，内部是流的方式。流不会把异常抛给sql-gateway?
>
>
> 在2020年03月25日 10:26，godfrey he<[hidden email]> 写道：
> hi， sql gateway当前会把服务端的完整异常栈返回给用户，
> 例如：
> Caused by: java.util.concurrent.ExecutionException:
> org.apache.flink.runtime.rest.util.RestClientException: [Internal server
> error., <Exception on server side:
> com.ververica.flink.table.gateway.SqlExecutionException: xxx
>
> 你可以检查一下sql gateway的日志，看看是否相关的错误
>
> Best,
> Godfrey
>
> 111 <[hidden email]> 于2020年3月25日周三 上午8:47写道：
>
> Hi,
> 最近在使用sql-gateway，当使用
> StatementExecuteResponseBody body = getInstance().sendRequest(
> host,port,StatementExecuteHeaders.getInstance(),
> new SessionMessageParameters(sessionId),
> new StatementExecuteRequestBody(stmt, timeout)).get();
> 提交insert语句时，当任务失败，无法返回对应的异常信息；是目前版本暂时不支持这种特性吗？
>
>

[111]

Hi,
目前确实通过sql-gateway拿到了jobId，并且获取到了状态。不过由于使用的是yarn-session，导致失败后taskmanager回收，taskmanager上的日志也就丢失了。
如果连接到Jobmanager上，是拿不到taskmanager曾经的日志吧？


Best,
 xinghalo
在2020年03月25日 10:47，godfrey he<[hidden email]> 写道：
hi, sql gateway目前支持获取作业状态（要求jm还能查询到该作业）。如果要获取作业异常可以通过jm提供的REST API [1]

[1]
https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/rest_api.html#jobs-jobid-exceptions

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:38写道：

Hi,
确实是执行报错….那如果是执行报错，flink本身是否有提供获取exception的机制呢？


| |
xinghalo
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2020年03月25日 10:32，godfrey he<[hidden email]> 写道：
目前sql gateway只负责提交作业，不负责跟踪作业的状态。如果作业没提交成功，sql gateway会返回相关的错误；如果是执行时报错，sql
gateway不会返回错误。你看看flink web ui作业是否提交成功

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:29写道：



Hi,
我试过了，insert into是不行的…sql-gateway的后台日志也没有任何报错。
怀疑是不是我使用的jdbc sink connector，内部是流的方式。流不会把异常抛给sql-gateway?


在2020年03月25日 10:26，godfrey he<[hidden email]> 写道：
hi， sql gateway当前会把服务端的完整异常栈返回给用户，
例如：
Caused by: java.util.concurrent.ExecutionException:
org.apache.flink.runtime.rest.util.RestClientException: [Internal server
error., <Exception on server side:
com.ververica.flink.table.gateway.SqlExecutionException: xxx

你可以检查一下sql gateway的日志，看看是否相关的错误

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午8:47写道：

Hi,
最近在使用sql-gateway，当使用
StatementExecuteResponseBody body = getInstance().sendRequest(
host,port,StatementExecuteHeaders.getInstance(),
new SessionMessageParameters(sessionId),
new StatementExecuteRequestBody(stmt, timeout)).get();
提交insert语句时，当任务失败，无法返回对应的异常信息；是目前版本暂时不支持这种特性吗？

[godfrey he]

Hi，你可以尝试在yarn上去拿历史作业的日志

Best，
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:53写道：

> Hi,
>
> 目前确实通过sql-gateway拿到了jobId，并且获取到了状态。不过由于使用的是yarn-session，导致失败后taskmanager回收，taskmanager上的日志也就丢失了。
> 如果连接到Jobmanager上，是拿不到taskmanager曾经的日志吧？
>
>
> Best,
>  xinghalo
> 在2020年03月25日 10:47，godfrey he<[hidden email]> 写道：
> hi, sql gateway目前支持获取作业状态（要求jm还能查询到该作业）。如果要获取作业异常可以通过jm提供的REST API [1]
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/rest_api.html#jobs-jobid-exceptions
>
> Best,
> Godfrey
>
> 111 <[hidden email]> 于2020年3月25日周三 上午10:38写道：
>
> Hi,
> 确实是执行报错….那如果是执行报错，flink本身是否有提供获取exception的机制呢？
>
>
> | |
> xinghalo
> |
> |
> [hidden email]
> |
> 签名由网易邮箱大师定制
>
>
> 在2020年03月25日 10:32，godfrey he<[hidden email]> 写道：
> 目前sql gateway只负责提交作业，不负责跟踪作业的状态。如果作业没提交成功，sql gateway会返回相关的错误；如果是执行时报错，sql
> gateway不会返回错误。你看看flink web ui作业是否提交成功
>
> Best,
> Godfrey
>
> 111 <[hidden email]> 于2020年3月25日周三 上午10:29写道：
>
>
>
> Hi,
> 我试过了，insert into是不行的…sql-gateway的后台日志也没有任何报错。
> 怀疑是不是我使用的jdbc sink connector，内部是流的方式。流不会把异常抛给sql-gateway?
>
>
> 在2020年03月25日 10:26，godfrey he<[hidden email]> 写道：
> hi， sql gateway当前会把服务端的完整异常栈返回给用户，
> 例如：
> Caused by: java.util.concurrent.ExecutionException:
> org.apache.flink.runtime.rest.util.RestClientException: [Internal server
> error., <Exception on server side:
> com.ververica.flink.table.gateway.SqlExecutionException: xxx
>
> 你可以检查一下sql gateway的日志，看看是否相关的错误
>
> Best,
> Godfrey
>
> 111 <[hidden email]> 于2020年3月25日周三 上午8:47写道：
>
> Hi,
> 最近在使用sql-gateway，当使用
> StatementExecuteResponseBody body = getInstance().sendRequest(
> host,port,StatementExecuteHeaders.getInstance(),
> new SessionMessageParameters(sessionId),
> new StatementExecuteRequestBody(stmt, timeout)).get();
> 提交insert语句时，当任务失败，无法返回对应的异常信息；是目前版本暂时不支持这种特性吗？
>
>
>

[111]

Hi,
好的，我研究下哈。现在taskmanager的原理还不太熟，有问题再沟通
Best,
Xinghalo


在2020年03月25日 11:01，godfrey he<[hidden email]> 写道：
Hi，你可以尝试在yarn上去拿历史作业的日志

Best，
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:53写道：

Hi,

目前确实通过sql-gateway拿到了jobId，并且获取到了状态。不过由于使用的是yarn-session，导致失败后taskmanager回收，taskmanager上的日志也就丢失了。
如果连接到Jobmanager上，是拿不到taskmanager曾经的日志吧？


Best,
xinghalo
在2020年03月25日 10:47，godfrey he<[hidden email]> 写道：
hi, sql gateway目前支持获取作业状态（要求jm还能查询到该作业）。如果要获取作业异常可以通过jm提供的REST API [1]

[1]

https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/rest_api.html#jobs-jobid-exceptions

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:38写道：

Hi,
确实是执行报错….那如果是执行报错，flink本身是否有提供获取exception的机制呢？


| |
xinghalo
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2020年03月25日 10:32，godfrey he<[hidden email]> 写道：
目前sql gateway只负责提交作业，不负责跟踪作业的状态。如果作业没提交成功，sql gateway会返回相关的错误；如果是执行时报错，sql
gateway不会返回错误。你看看flink web ui作业是否提交成功

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:29写道：



Hi,
我试过了，insert into是不行的…sql-gateway的后台日志也没有任何报错。
怀疑是不是我使用的jdbc sink connector，内部是流的方式。流不会把异常抛给sql-gateway?


在2020年03月25日 10:26，godfrey he<[hidden email]> 写道：
hi， sql gateway当前会把服务端的完整异常栈返回给用户，
例如：
Caused by: java.util.concurrent.ExecutionException:
org.apache.flink.runtime.rest.util.RestClientException: [Internal server
error., <Exception on server side:
com.ververica.flink.table.gateway.SqlExecutionException: xxx

你可以检查一下sql gateway的日志，看看是否相关的错误

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午8:47写道：

Hi,
最近在使用sql-gateway，当使用
StatementExecuteResponseBody body = getInstance().sendRequest(
host,port,StatementExecuteHeaders.getInstance(),
new SessionMessageParameters(sessionId),
new StatementExecuteRequestBody(stmt, timeout)).get();
提交insert语句时，当任务失败，无法返回对应的异常信息；是目前版本暂时不支持这种特性吗？

[111]

Hi godfrey,
关于exceptions 这个rest api 的建议，试验了下，目前可以满足需求。非常感谢 ！
Best,
Xinghalo


在2020年03月25日 11:37，111<[hidden email]> 写道：
Hi,
好的，我研究下哈。现在taskmanager的原理还不太熟，有问题再沟通
Best,
Xinghalo


在2020年03月25日 11:01，godfrey he<[hidden email]> 写道：
Hi，你可以尝试在yarn上去拿历史作业的日志

Best，
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:53写道：

Hi,

目前确实通过sql-gateway拿到了jobId，并且获取到了状态。不过由于使用的是yarn-session，导致失败后taskmanager回收，taskmanager上的日志也就丢失了。
如果连接到Jobmanager上，是拿不到taskmanager曾经的日志吧？


Best,
xinghalo
在2020年03月25日 10:47，godfrey he<[hidden email]> 写道：
hi, sql gateway目前支持获取作业状态（要求jm还能查询到该作业）。如果要获取作业异常可以通过jm提供的REST API [1]

[1]

https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/rest_api.html#jobs-jobid-exceptions

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:38写道：

Hi,
确实是执行报错….那如果是执行报错，flink本身是否有提供获取exception的机制呢？


| |
xinghalo
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2020年03月25日 10:32，godfrey he<[hidden email]> 写道：
目前sql gateway只负责提交作业，不负责跟踪作业的状态。如果作业没提交成功，sql gateway会返回相关的错误；如果是执行时报错，sql
gateway不会返回错误。你看看flink web ui作业是否提交成功

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午10:29写道：



Hi,
我试过了，insert into是不行的…sql-gateway的后台日志也没有任何报错。
怀疑是不是我使用的jdbc sink connector，内部是流的方式。流不会把异常抛给sql-gateway?


在2020年03月25日 10:26，godfrey he<[hidden email]> 写道：
hi， sql gateway当前会把服务端的完整异常栈返回给用户，
例如：
Caused by: java.util.concurrent.ExecutionException:
org.apache.flink.runtime.rest.util.RestClientException: [Internal server
error., <Exception on server side:
com.ververica.flink.table.gateway.SqlExecutionException: xxx

你可以检查一下sql gateway的日志，看看是否相关的错误

Best,
Godfrey

111 <[hidden email]> 于2020年3月25日周三 上午8:47写道：

Hi,
最近在使用sql-gateway，当使用
StatementExecuteResponseBody body = getInstance().sendRequest(
host,port,StatementExecuteHeaders.getInstance(),
new SessionMessageParameters(sessionId),
new StatementExecuteRequestBody(stmt, timeout)).get();
提交insert语句时，当任务失败，无法返回对应的异常信息；是目前版本暂时不支持这种特性吗？