更新时间:2026-04-27 GMT+08:00
分享

Lakeformation连接属性配置

在使用数据集成服务时,您可以根据实际需求配置Lakeformation数据源的额外配置属性,以优化数据迁移过程并解决可能出现的问题。

以下是可配置的连接属性及其详细说明。

可选连接属性配置

属性名称

类型

描述

orc.writer.compress

string

指定写入 Lake Formation 的 ORC 文件压缩格式。

支持常用 ORC 压缩格式:NONE、ZLIB、SNAPPY、LZO、LZ4。

orc.writer.batch.size

int

指定写入 Lake Formation 的 ORC 文件在写入过程中的批量提交行数。

默认值为 10000 行。

parquet.writer.pageSize

int

指定写入 Lake Formation 的 Parquet 文件页面大小(Page Size)。

默认值为 1048576 字节(即 1024 × 1024 = 1MB)。

parquet.writer.dictionaryPageSize

int

指定写入 Lake Formation 的 Parquet 文件字典页面大小(Dictionary Page Size)。

默认值为 1048576 字节(即 1024 × 1024 = 1MB)。

parquet.writer.blockSize

int

指定写入 Lake Formation 的 Parquet 文件行组大小(Row Group Size)。

默认值为 134217728 字节(即 128 × 1024 × 1024 = 128MB)。

parquet.compression

string

指定写入 Lake Formation 的 Parquet 文件压缩格式。

支持常用 Parquet 压缩格式:UNCOMPRESSED、SNAPPY、GZIP、LZO、BROTLI、LZ4、ZSTD。

writer.target.file.size

int

指定写入 Lake Formation 的目标文件大小(以字节为单位)。

默认值为 536870912 字节(即 512 × 1024 × 1024 = 512MB)。

partition.writer.limit

int

指定动态分区写入场景下,单个并发任务允许的最大 writer 数量。

默认值为 10。

配置方法

在数据集成作业,选择Lakeformation作为数据源,目的端配置“额外配置”参数即可。
图1 额外配置入口
图2 配置对应参数

相关文档