Lakeformation连接属性配置
在使用数据集成服务时,您可以根据实际需求配置Lakeformation数据源的额外配置属性,以优化数据迁移过程并解决可能出现的问题。
以下是可配置的连接属性及其详细说明。
可选连接属性配置
| 属性名称 | 类型 | 描述 |
|---|---|---|
| orc.writer.compress | string | 指定写入 Lake Formation 的 ORC 文件压缩格式。 支持常用 ORC 压缩格式:NONE、ZLIB、SNAPPY、LZO、LZ4。 |
| orc.writer.batch.size | int | 指定写入 Lake Formation 的 ORC 文件在写入过程中的批量提交行数。 默认值为 10000 行。 |
| parquet.writer.pageSize | int | 指定写入 Lake Formation 的 Parquet 文件页面大小(Page Size)。 默认值为 1048576 字节(即 1024 × 1024 = 1MB)。 |
| parquet.writer.dictionaryPageSize | int | 指定写入 Lake Formation 的 Parquet 文件字典页面大小(Dictionary Page Size)。 默认值为 1048576 字节(即 1024 × 1024 = 1MB)。 |
| parquet.writer.blockSize | int | 指定写入 Lake Formation 的 Parquet 文件行组大小(Row Group Size)。 默认值为 134217728 字节(即 128 × 1024 × 1024 = 128MB)。 |
| parquet.compression | string | 指定写入 Lake Formation 的 Parquet 文件压缩格式。 支持常用 Parquet 压缩格式:UNCOMPRESSED、SNAPPY、GZIP、LZO、BROTLI、LZ4、ZSTD。 |
| writer.target.file.size | int | 指定写入 Lake Formation 的目标文件大小(以字节为单位)。 默认值为 536870912 字节(即 512 × 1024 × 1024 = 512MB)。 |
| partition.writer.limit | int | 指定动态分区写入场景下,单个并发任务允许的最大 writer 数量。 默认值为 10。 |
配置方法