关于Flink1.11 CSV Format的一些疑问

[WeiXubin]

Hi，我在Flink1.11版本，使用filesystem connector的时候，读取csv文件并输出到另外一个csv文件遇到了些问题，问题如下：
问题1：sink 的path指定具体输出文件名，但是输出的结果是 文件夹形式
问题2：在flink1.11的文档中没有找到csv的 ignore-first-line 忽略第一行这个配置

测试数据
11101322000220200517145507667060666706;9
11101412000220200515163257249700624970;9
11101412010220200514163709315410631541;9
11101712050220200516173624737150673715;9
11101312000220200516184127322880632288;9

CREATE TABLE source_table (
  face_id STRING,
  p_id STRING
) WITH (
 'connector' = 'filesystem',
 'path' = 'E:\label_file.csv',
 'format' = 'csv',
 'csv.field-delimiter'=';'
);

CREATE TABLE sink_table (
  face_id STRING,
  p_id STRING
) WITH (
 'connector' = 'filesystem',
 'path' = 'E:\label_file2.csv',
  'csv.disable-quote-character' ='true',
 'format' = 'csv',
 'csv.field-delimiter'=';'
);

INSERT INTO sink_table SELECT face_id,p_id FROM source_table;




--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Shengkai Fang]

hi,
对于第一个问题，文档[1]中已经有较为详细的解释，你可以仔细阅读下文档关于partition files的解释。
对于第二个问题，现在的csv格式的确不支持这个选项，可以考虑见个jira作为improvment.

[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/filesystem.html


WeiXubin <[hidden email]> 于2020年8月8日周六 上午11:40写道：

> Hi，我在Flink1.11版本，使用filesystem connector的时候，读取csv文件并输出到另外一个csv文件遇到了些问题，问题如下：
> 问题1：sink 的path指定具体输出文件名，但是输出的结果是 文件夹形式
> 问题2：在flink1.11的文档中没有找到csv的 ignore-first-line 忽略第一行这个配置
>
> 测试数据
> 11101322000220200517145507667060666706;9
> 11101412000220200515163257249700624970;9
> 11101412010220200514163709315410631541;9
> 11101712050220200516173624737150673715;9
> 11101312000220200516184127322880632288;9
>
> CREATE TABLE source_table (
>   face_id STRING,
>   p_id STRING
> ) WITH (
>  'connector' = 'filesystem',
>  'path' = 'E:\label_file.csv',
>  'format' = 'csv',
>  'csv.field-delimiter'=';'
> );
>
> CREATE TABLE sink_table (
>   face_id STRING,
>   p_id STRING
> ) WITH (
>  'connector' = 'filesystem',
>  'path' = 'E:\label_file2.csv',
>   'csv.disable-quote-character' ='true',
>  'format' = 'csv',
>  'csv.field-delimiter'=';'
> );
>
> INSERT INTO sink_table SELECT face_id,p_id FROM source_table;
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>

[WeiXubin]

感谢



--
Sent from: http://apache-flink.147419.n8.nabble.com/