更新时间:2022-02-22 GMT+08:00

File Systems

配置场景

task运行中会创建结果文件,Flink支持对文件创建行为进行配置。

配置描述

配置项包括文件覆盖策略,目录创建。

表1 参数说明

参数

描述

默认值

是否必选配置

fs.overwrite-files

文件输出写操作是否默认覆盖已有文件。

false

fs.output.always-create-directory

当文件写入程序的并行度大于1时,输出文件的路径下会创建一个目录,并将不同的结果文件(每个并行写程序任务一个)放入该目录。

  • 如果此选项设置为true,那么并行度为1的写入程序也将创建一个目录并将一个结果文件放入其中。
  • 如果该选项设置为false,则并行度为1的写入程序将直接在输出路径中创建文件,而不再创建目录。

false